[論文レビュー] Butterfly: A Panacea for All Difficulties in Wildly Unsupervised Domain Adaptation.

Feng Liu, Jie Lü+4 more|arXiv (Cornell University)|May 19, 2019

Domain Adaptation and Few-Shot Learning被引用数 21

ひとこと要約

この論文では、ノイズが混入したラベルのないソースドメインデータと、ラベルなしのターゲットドメインデータを用いた、極めて不完全な教師なしドメイン適応（WUDA）のための新規フレームワークであるButterflyを提案する。4つのモデル（2つはノイズ補正とドメインアラインメント、2つはターゲット分類）を同時に維持することで、Butterflyはノイズラベル、ドメインシフト、分布の不一致を効果的に処理し、WUDA設定で最先端の性能を達成する。

ABSTRACT

In unsupervised domain adaptation (UDA), classifiers for the target domain (TD) are trained with clean labeled data from the source domain (SD) and unlabeled data from TD. However, in the wild, it is hard to acquire a large amount of perfectly clean labeled data in SD given limited budget. Hence, we consider a new, more realistic and more challenging problem setting, where classifiers have to be trained with noisy labeled data from SD and unlabeled data from TD---we name it wildly UDA (WUDA). We show that WUDA provably ruins all UDA methods if taking no care of label noise in SD, and to this end, we propose a Butterfly framework, a panacea for all difficulties in WUDA. Butterfly maintains four models (e.g., deep networks) simultaneously, where two take care of all adaptations (i.e., noisy-to-clean, labeled-to-unlabeled, and SD-to-TD-distributional) and then the other two can focus on classification in TD. As a consequence, Butterfly possesses all the necessary components for all the challenges in WUDA. Experiments demonstrate that under WUDA, Butterfly significantly outperforms existing baseline methods.

研究の動機と目的

• ノイズが混入したソースドメインデータとラベルなしのターゲットドメインデータを前提とする、現実的ではあるが挑戦的な極めて不完全な教師なしドメイン適応（WUDA）の設定に対処すること。
• 既存のUDA手法が、ソースドメインにおける未解決のラベルノイズの影響により、WUDA環境下で著しく失敗することを特定すること。
• WUDAにおいて、ラベルノイズ、ドメインシフト、分布の不一致を同時に処理する統合フレームワークを開発すること。
• 現実のデータ収集制約を反映するように、ソースデータが不完全にラベル付けされている状況でも高い性能を維持できる堅牢なソリューションを提供すること。

提案手法

• Butterflyは並列に4つの深層ニューラルネットワークを維持する：2つは適応（ノイズ補正とドメインアラインメント）に、2つはターゲット分類に使用する。
• 適応モデルは、同時にソースドメインのラベルノイズを補正し、ソースとターゲットドメインの分布をアラインメントする学習を共同で行う。
• ノイズ補正と分類を分離する二重ブランチアーキテクチャを採用することで、安定的かつ正確な学習を可能にする。
• 一貫性正則化と自己学習の原則を活用し、ターゲットデータの擬似ラベルを精錬することで、耐性を高める。
• 4モデルの構成により、ノイズに起因する誤差とドメインシフトを同時に最小化するエンドツーエンド最適化が可能になる。
• 特定のバックボーンアーキテクチャに依存しないように設計されており、実装の柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 既存の教師なしドメイン適応手法は、ノイズが混入したソースラベルを前提とした環境にも一般化可能か、それとも著しく失敗するか？
• RQ2 WUDAにおいて、ラベルノイズ、ドメインシフト、分布の不一致を同時に処理するために、どのようなアーキテクチャ的およびトレーニング的要素が必要か？
• RQ3 複数の専用モデルを統合した統合フレームワークは、より現実的なWUDA環境下で、既存手法を上回る性能を発揮できるか？
• RQ4 提案されたButterflyフレームワークは、ソースドメインにおけるラベルノイズの増加に伴っても、性能を維持できるか？

主な発見

• Butterflyは、WUDA設定下で既存のUDAベースラインを著しく上回り、ラベルノイズに対する優れた耐性を示す。
• フレームワークは、標準的なUDA手法が崩壊する原因となるノイズが混入したソースラベルに起因する性能低下を効果的に緩和する。
• 4モデルアーキテクチャにより、複数のベンチマークデータセットで安定したトレーニングと一貫性のある性能向上が実現される。
• Butterflyは、標準的なWUDAベンチマークで最先端の正確性を達成し、複数の課題を同時に処理する有効性を裏付けた。
• アブレーションスタディにより、ノイズ補正とドメインアラインメントの両コンponentが最適な性能を達成するために不可欠であることが確認された。
• 異なるバックボーンネットワークやデータ分布に対しても一般化が良く、強力な耐性と適応性を示す。