[論文レビュー] A Sample Selection Approach for Universal Domain Adaptation

Omri Lifshitz, Lior Wolf|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 7

ひとこと要約

本論文は、分類器の信頼度とドメイン識別器の不確実性を組み合わせた新しいスコアリング方式を用いて、共有クラスに属する可能性の高いターゲットサンプルを段階的に偽ラベル付与することで、汎用的ドメイン適応（UDA）の性能を向上させるサンプル選択アプローチを提案する。本手法はラベルの崩壊を防ぐためにバッチ内多様性損失を導入し、選択的ラベリングと動的しきい値設定により、Office31およびOfficeHomeベンチマークで先行手法を上回る最先端の精度を達成する。

ABSTRACT

We study the problem of unsupervised domain adaption in the universal scenario, in which only some of the classes are shared between the source and target domains. We present a scoring scheme that is effective in identifying the samples of the shared classes. The score is used to select which samples in the target domain to pseudo-label during training. Another loss term encourages diversity of labels within each batch. Taken together, our method is shown to outperform, by a sizable margin, the current state of the art on the literature benchmarks.

研究の動機と目的

• ソースドメインとターゲットドメインに部分的なクラスオーバーラップがあるというユースケーラブルドメイン適応（UDA）の課題に対処し、共有クラスにのみ識別・分類できるモデルを構築すること。
• UDAにおける誤った偽ラベル付けのリスクを低減するため、共有クラスに由来すると考えられる可能性の高いターゲットサンプルにのみラベル付けを制限すること。
• すべてのターゲットサンプルが「未知」に分類されてしまうモデルの崩壊を防ぐために、各訓練バッチ内で予測ラベルの多様性を保証すること。
• ラベル分類器の信頼度とドメイン識別器の不確実性を組み合わせた新しいスコアリング機構により、一般化性能とロバストネスを向上させること。
• 従来のアプローチよりも単純で効果的なフレームワークにより、標準的なUDAベンチマークで最先端の性能を達成すること。

提案手法

• ラベル分類器の信頼度とドメイン識別器の不確実性を組み合わせたスコア関数を提案し、共有クラスに由来すると考えられるターゲットサンプルを特定する。
• スコアが動的しきい値を上回るターゲットサンプルにのみ偽ラベル付けを適用し、分布外のサンプルからの誤り伝搬を低減する。
• 各バッチ内で予測ラベルが均等に分散するよう促進するバッチ内多様性損失を導入し、すべてのサンプルが1つまたは少数のクラスに割り当てられるのを防ぐ。
• 訓練の進行に応じてモデルの信頼度に応じて適応的に変化する動的しきい値戦略を採用し、後期の訓練段階で高信頼度のサンプルをより効果的に活用できるようにする。
• ドメインの混乱損失、サンプル選択付きの偽ラベル損失、およびバッチ内多様性損失の3つの損失を同時に最適化することでモデルを訓練する。
• 多様性損失をソースドメインおよびターゲットドメインの両方に対して適用するが、実験ではターゲットドメインでのみ適用する場合に比べてわずかな改善にとどまる。

実験結果

リサーチクエスチョン

• RQ1 ラベル分類器の出力とドメイン識別器の出力を組み合わせた信頼度ベースのスコアリング方式は、汎用的ドメイン適応におけるサンプル選択を改善できるか？
• RQ2 各訓練バッチ内でラベルの多様性を強制することで、UDAにおけるモデルの崩壊を防ぎ、一般化性能を向上させられるか？
• RQ3 固定しきい値と比較して、偽ラベル付けにおける動的しきい値戦略は、異なるデータセットにおいて性能とロバストネスに優れているか？
• RQ4 ソースドメインとターゲットドメインの間で部分的なクラスオーバーラップしか存在しない状況において、本手法は既存のUDAアプローチよりも効果的か？
• RQ5 ソースドメインとターゲットドメインの両方で多様性損失を適用することで、ターゲットドメインでのみ適用する場合に比べてモデル性能がどの程度向上するか？

主な発見

• 提案手法は、Office31およびOfficeHomeベンチマークの両方で最先端の精度を達成し、先行のSOTA手法を大きく上回る。
• 固定しきい値よりも動的しきい値を用いることで、後期の訓練段階で高信頼度のサンプルをより効果的に活用できるため、性能が向上する。
• ソースドメインおよびターゲットドメインの両方で多様性損失を適用した場合、ターゲットドメインでのみ適用する場合に比べてわずかに良い結果が得られ、ソース予測の正則化にも利点があることが示された。
• ラベル分類器の信頼度とドメイン識別器の不確実性を組み合わせたスコアリング方式は、共有クラスに属するサンプルを特定する点で、従来のスコアリング手法を上回る。
• 決定しきい値 $w_0$ が0から1.4の広い範囲で変化してもモデルの性能が安定しており、$w_0 > 1.4$ になると急激に精度が低下するため、適切なしきい値キャリブレーションの重要性が確認された。
• 実験により、異なるデータセットやドメインシフト（例：OfficeHomeのAr→Cl、Office31のA→D）では最適なしきい値が異なり、動的しきい値戦略の優位性が裏付けられた。