[論文レビュー] A Theory of Label Propagation for Subpopulation Shift

Tianle Cai, Ruiqi Gao+2 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 76被引用数 4

ひとこと要約

本稿では、サブポピュレーションシフト下でのドメイン適応を想定し、教師分類器と、ソースおよびターゲットドメインの両方の未ラベルデータに対する一貫性正則化を活用したラベル伝播フレームワークを提案する。拡張仮定を導入し、一貫性損失を最適化することで、一般化性能が向上し、有限標本保証が保証される。実験では、ソースおよびターゲットドメインの両方で教師分類器を上回る性能を達成した。

ABSTRACT

One of the central problems in machine learning is domain adaptation. Unlike past theoretical work, we consider a new model for subpopulation shift in the input or representation space. In this work, we propose a provably effective framework for domain adaptation based on label propagation. In our analysis, we use a simple but realistic expansion assumption, proposed in \citet{wei2021theoretical}. Using a teacher classifier trained on the source domain, our algorithm not only propagates to the target domain but also improves upon the teacher. By leveraging existing generalization bounds, we also obtain end-to-end finite-sample guarantees on the entire algorithm. In addition, we extend our theoretical framework to a more general setting of source-to-target transfer based on a third unlabeled dataset, which can be easily applied in various learning scenarios. Inspired by our theory, we adapt consistency-based semi-supervised learning methods to domain adaptation settings and gain significant improvements.

研究の動機と目的

• ソースドメインがターゲットドメインのサブポピュレーションを完全にカバーしないサブポピュレーションシフト下でのドメイン適応を解決すること。
• 未ラベルデータを用いて、ソースドメインからターゲットドメインへの有効なラベル伝播を可能にする理論的裏付けのあるフレームワークを開発すること。
• サブポピュレーションシフト設定下におけるニューラルネットワークのエンドツーエンドの有限標本一般化保証を提供すること。
• より一般的なソースからターゲットへの転移を実現するため、第3の未ラベルデータセットを用いた転移学習へのフレームワークの拡張すること。

提案手法

• 教師分類器をソースドメインで訓練し、ターゲットドメインで性能が低くても、それを監督信号として使用する。
• ソースおよびターゲットドメインの両方の局所的サブポピュレーションにおいて予測の一貫性を強制する、近傍に基づく一貫性正則化項を導入する。
• ラベル情報がサブポピュレーション間を伝播可能であることを保証する現実的で「拡張」仮定（Wei et al., 2021）に依存する。
• 0-1の一貫性損失をソースデータの教師の予測と組み合わせ、両ドメインの未ラベルデータに対する一貫性損失を組み合わせる。
• 第3の未ラベルデータセットを用いた3データセット設定に、アプローチを拡張し、より一般的なソースからターゲットへの転移を可能にする。
• 実験的検証では、FixMatchと分布整合性、および混合精度学習を用いて、Office-31およびOffice-Homeでの性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 未ラベルデータのみを用いて、ソースドメインのラベル情報がターゲットドメインのサブポピュレーションシフト下で効果的に伝播可能か？
• RQ2 どのような仮定のもとで、一貫性正則化がソースおよびターゲットドメインの両方で性能向上をもたらすか？
• RQ3 サブポピュレーションシフト状況下におけるニューラルネットワークの有限標本一般化境界をどのように導出できるか？
• RQ4 第3の未ラベルデータセットを含む設定に、フレームワークを拡張して、より優れた転送性を達成できるか？

主な発見

• FixMatchに分布整合性を組み合わせた場合、ターゲットドメインでのテスト精度が72.6%に向上し、それ以外の条件では68.5%にとどまった。
• 一貫性正則化と教師の監督を組み合わせることで、証明可能な有限標本一般化保証が得られる。
• 理論的分析により、教師分類器がターゲットドメインで失敗しても、ラベル伝播がソースおよびターゲットドメインの両方の性能向上をもたらすことが示された。
• 拡張仮定により、サポート外のサブポピュレーションへの効果的な転送が可能になり、従来の分布マッチングの限界を克服した。
• 実験結果により、一貫性に基づく半教師あり学習をドメイン適応に適応した場合、特にサブポピュレーションシフト下で顕著な性能向上が得られた。
• 特にラベルデータが限られた状況下で、DANN や MDD などのベースラインドメイン適応モデルを上回る性能を示した。