[論文レビュー] Unsupervised Domain Adaptation in the Absence of Source Data

Roshni Sahoo, Divya Shanmugam+1 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 9

ひとこと要約

この論文では、元のソースデータにアクセスできない状況下で、ラベルなしのターゲット画像とソース分類器のソフトマックス出力のみを用いて、事前学習済みのソース分類器をターゲットドメインに適応させる非教師ありドメイン適応手法を提案する。ターゲット画像をソース分布に近づけるために可逆変換（例：明るさ・コントラストの変更）を学習することで、特にラベル付きターゲットデータが限られた状況下でも、微調整よりも優れた精度を達成する。

ABSTRACT

Current unsupervised domain adaptation methods can address many types of distribution shift, but they assume data from the source domain is freely available. As the use of pre-trained models becomes more prevalent, it is reasonable to assume that source data is unavailable. We propose an unsupervised method for adapting a source classifier to a target domain that varies from the source domain along natural axes, such as brightness and contrast. Our method only requires access to unlabeled target instances and the source classifier. We validate our method in scenarios where the distribution shift involves brightness, contrast, and rotation and show that it outperforms fine-tuning baselines in scenarios with limited labeled data.

研究の動機と目的

• 事前学習済みモデルが一般的に利用可能な状況下で、ソースデータが入手不可である場合のドメインシフトを解消すること。
• 分類器の予測結果とラベルなしのターゲットデータのみを用いて、ソース分類器をターゲットドメインに適応する手法を開発すること。
• 明るさ、コントラスト、回転の変化といった自然な分布シフトに対してモデルのロバスト性を向上させること。
• ラベル付きターゲット例が限られる低データ環境下で、微調整ベースラインを上回ること。

提案手法

• 本手法は、ターゲット画像をソースドメインに近づけるための微分可能な前向き変換（例：明るさ、コントラスト）のパラメータを予測する変換ネットワークを学習する。
• ソース分類器のソフトマックス確率を教師信号として用い、変換後の画像がソースモデルによって高い最大クラス確率で分類されるように最適化する。
• 変換ネットワークは、ラベルなしのターゲット画像上でエンドツーエンドに訓練され、変換後の画像がソースモデルによって信頼性の高い分類を受けるようにする損失関数を用いる。
• 本手法は、前向き変換（例：明るさのシフト）が可逆であり、推論時に逆変換が利用可能であることを仮定している。
• 分布内例（ソースに近い例）は分布外例よりも高い最大ソフトマックス確率を示すという事実を活用している。
• 最終的な推論では、学習済み変換を各ターゲット画像に適用し、元のソース分類器を用いて分類する。

実験結果

リサーチクエスチョン

• RQ1 ソースデータにアクセスできない状況下で、事前学習済み分類器とラベルなしのターゲットデータのみを用いてドメインシフトに適応できるか？
• RQ2 ソフトマックス信頼度を用いた変換学習は、分布がずれたターゲットドメインで性能を回復させるのにどの程度有効か？
• RQ3 ラベル付きターゲットデータが限られる状況下で、本手法は微調整を上回る性能を示すか？
• RQ4 明るさやコントラストといった自然な軸に沿ったシフトの度合いや範囲が増加するにつれて、性能はどのように変化するか？

主な発見

• ラベル付きターゲット例が4,000未満の状況下では、本手法はソース分類器の最終層の微調整を上回る。
• ラベル付きターゲット例が1,000未満の状況下では、本手法は全ネットワークの微調整を上回る。
• 明るさシフトにおいてμ ≤ 1.0の場合、本手法はオラクルモデルに近い精度を回復するが、μ > 1.0（過露出）の場合は、シフトが不可逆であるため性能が低下する。
• シフト範囲が広がる（σが高くなる）と、本手法の精度低下はソース分類器のそれよりも緩やかになる。特に明るさシフトの下で顕著である。
• コントラストシフトの下では、本手法とソース分類器の両方が、シフト範囲が広がるにつれて同程度に性能を低下させる。
• 本手法は、軽度から重度のシフトにわたり強力な性能を維持し、ソースデータやターゲットラベルを一切必要とせずに自然なドメインシフトに対してロバストであることが示された。