[論文レビュー] On Learning Invariant Representation for Domain Adaptation

Han Zhao, Rémi Tachet des Combes+2 more|arXiv (Cornell University)|Jan 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 156

ひとこと要約

本論文は、ソース誤差が小さいだけでは不変表現を学んでもターゲット性能を保証できないことを示している。条件シフトを考慮した一般化上界を提供し、情報理論的な下界を証明し、理論を実証する実験を行っている。

ABSTRACT

Due to the ability of deep neural nets to learn rich representations, recent advances in unsupervised domain adaptation have focused on learning domain-invariant features that achieve a small error on the source domain. The hope is that the learnt representation, together with the hypothesis learnt from the source domain, can generalize to the target domain. In this paper, we first construct a simple counterexample showing that, contrary to common belief, the above conditions are not sufficient to guarantee successful domain adaptation. In particular, the counterexample exhibits \emph{conditional shift}: the class-conditional distributions of input features change between source and target domains. To give a sufficient condition for domain adaptation, we propose a natural and interpretable generalization upper bound that explicitly takes into account the aforementioned shift. Moreover, we shed new light on the problem by proving an information-theoretic lower bound on the joint error of \emph{any} domain adaptation method that attempts to learn invariant representations. Our result characterizes a fundamental tradeoff between learning invariant representations and achieving small joint error on both domains when the marginal label distributions differ from source to target. Finally, we conduct experiments on real-world datasets that corroborate our theoretical findings. We believe these insights are helpful in guiding the future design of domain adaptation and representation learning algorithms.

研究の動機と目的

• 不変表現と小さなソース誤差がターゲット精度を保証するかを評価する。
• 不変表現を用いたドメイン適応が成功する条件を特定する。
• ドメイン間の条件シフトを考慮した解釈可能な一般化上界を提供する。
• ドメイン間でラベル分布が異なる場合のトレードオフを示す情報理論的な下界を確立する。
• 実世界データセットで理論的知見を実験により検証する。

提案手法

• 整列した不変表現が大きな結合誤差を生み得ることを示す単純な反例を構築する。
• ソースとターゲット間の条件シフトを明示的に組み込んだ一般化上界を提案する。
• 不変表現ベースの任意の手法に対して結合誤差の情報理論的下界を証明する。
• 新しい境界を従来のBen-David らのフレームワークと関連づけ、いつより厳密になるかを論じる。
• 経験的ラデマッハ（Rademacher）複雑性を用いて境界成分のデータ依存推定を導出する。
• 実世界データセットで理論的知見を裏付ける実験を行う。

実験結果

リサーチクエスチョン

• RQ1 小さなソース誤差を達成しつつ不変表現を見つけることは、ターゲット誤差を小さく保証するのに十分か。
• RQ2 不変表現学習が成功するのはどのような条件か。
• RQ3 ソースとターゲット間の条件シフトはドメイン適応の境界にどう影響するか。
• RQ4 周辺のラベル分布が異なるとき、不変表現の学習と結合誤差の小ささの fundamental なトレードオフは何か。
• RQ5 実データ上の実証結果は提案された境界と知見を支持するか。

主な発見

• 小さなソース誤差を持つ不変表現がターゲット誤差を保証しないことを示す反例。
• 条件シフトを考慮した一般化上界を導出し、場合によっては従来の境界より厳密になり得る。
• ラベル分布が異なるとき、不変表現と結合ターゲット-ソース誤差との基本的なトレードオフを情報理論的下界が示す。
• 境界は、不変表現を学習する際にはラベル分布を整合させるべきであることを示唆している。
• 実世界データセットでの実証実験が理論的結論を裏付ける。