[論文レビュー] Self-training Avoids Using Spurious Features Under Domain Shift

Yining Chen, Colin Wei+2 more|arXiv (Cornell University)|Jun 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 5

ひとこと要約

この論文は、自己訓練（self-training）において、ラベルなしのターゲットデータを活用することで、ドメインシフトが大きい状況下でも誤った特徴（spurious features）を学習を回避できることを示している。ガウス分布に従う誤った特徴と対数凸分布に従う信号特徴を持つ線形モデルでは、十分に正確なソース分類器で初期化された場合、非凸な最適化設定（悪い局所最適解を含む）においても、自己訓練は誤った特徴にゼロの重みを持つ解に収束することがわかった。

ABSTRACT

In unsupervised domain adaptation, existing theory focuses on situations where the source and target domains are close. In practice, conditional entropy minimization and pseudo-labeling work even when the domain shifts are much larger than those analyzed by existing theory. We identify and analyze one particular setting where the domain shift can be large, but these algorithms provably work: certain spurious features correlate with the label in the source domain but are independent of the label in the target. Our analysis considers linear classification where the spurious features are Gaussian and the non-spurious features are a mixture of log-concave distributions. For this setting, we prove that entropy minimization on unlabeled target data will avoid using the spurious feature if initialized with a decently accurate source classifier, even though the objective is non-convex and contains multiple bad local minima using the spurious features. We verify our theory for spurious domain shift tasks on semi-synthetic Celeb-A and MNIST datasets. Our results suggest that practitioners collect and self-train on large, diverse datasets to reduce biases in classifiers even if labeling is impractical.

研究の動機と目的

• 自己訓練とエントロピー最小化が、大きなドメインシフトが存在する状況でも、なぜ無教師ドメイン適応で機能するのかを理解すること。
• 自己訓練が、ソースドメインではラベルと相関関係にあるがターゲットドメインでは相関がない誤った特徴を学習しない条件を分析すること。
• 複数の局所最適解を含む非凸な最適化設定において、自己訓練の理論的保証を確立すること。
• ラベル付きデータが不足している状況でも、大規模かつ多様なラベルなしデータセットがモデルのバイアスを低減する程度を検証すること。

提案手法

• 誤った特徴がソースドメインではラベルと相関するがターゲットドメインでは独立であるような、構造化されたドメインシフト設定を形式化する。
• ガウス分布に従う誤った特徴と、対数凸分布の混合分布から抽出された信号特徴を持つ線形分類を分析する。
• エントロピー最小化または疑似ラベル付けを用いた自己訓練が、2つの条件下で誤った特徴の係数がゼロになる解に収束することを証明する：信号分布が明確に分離されており、初期ソース分類器が十分に正確であること。
• マルチレイヤーニューラルネットワークを用いて、半人工的Celeb-AおよびMNISTデータセットで結果を実証的に検証する。
• エントロピー最小化と、SGDステップごとに疑似ラベルを更新する確率的疑似ラベル付けバージョンを用いる。
• 信頼度しきい値処理とバッチ再サンプリングを適用し、実用的な自己訓練パイプラインを模擬する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で自己訓練は、ソースドメインではラベルと相関するがターゲットドメインでは相関しない誤った特徴を学習しなくなるのか？
• RQ2 大きなドメインシフトと非凸な損失関数の下で、エントロピー最小化または疑似ラベル付けはベイズ最適解に収束するのか？
• RQ3 ソース分類器で初期化することで、最終的なモデルが誤った特徴にどれほど依存するようになるか？
• RQ4 ラベル付きデータが利用できない状況で、大規模かつ多様なラベルなしデータセットが、モデルのバイアス低減にどれほど寄与するのか？

主な発見

• 十分に正確なソース分類器で初期化された場合、ラベルなしターゲットデータを用いた自己訓練は、誤った特徴にゼロの重みを持つ解に収束する。
• 一変量ガウス信号設定では、自己訓練はベイズ最適解に収束する。
• 性別と髪の色に誤った相関関係を持つ半人工的Celeb-Aデータセットにおいて、ターゲット精度が81%から88%に向上した。
• ガウス混合実験では、エントロピー最小化と疑似ラベル付けの両方とも、ターゲット精度を95.9%から97.5%に向上させ、誤った特徴の重みを0.33から0に削減した。
• 損失関数の非凸性と、誤った特徴を利用しようとする悪い局所最適解が存在する中でも、理論的保証が成り立つ。
• 実験結果から、より頻繁に疑似ラベルを更新する（例：30ラウンド、10エポック）ことで、少ないラウンド数で長時間学習する場合よりも性能が向上し、エントロピー最小化の挙動と整合的であることが示された。