[論文レビュー] Support and Invertibility in Domain-Invariant Representations

Fredrik Johansson, David Sontag+1 more|arXiv (Cornell University)|Mar 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 42

ひとこと要約

本論文は、教師なしドメイン適応におけるドメイン不変表現学習を批判し、非可逆表現と厳密な不変性がターゲット性能を妨げる可能性があることを指摘し、適応リスクをより良く特徴づけるためにサポート重複に基づく境界を提案する。

ABSTRACT

Learning domain-invariant representations has become a popular approach to unsupervised domain adaptation and is often justified by invoking a particular suite of theoretical results. We argue that there are two significant flaws in such arguments. First, the results in question hold only for a fixed representation and do not account for information lost in non-invertible transformations. Second, domain invariance is often a far too strict requirement and does not always lead to consistent estimation, even under strong and favorable assumptions. In this work, we give generalization bounds for unsupervised domain adaptation that hold for any representation function by acknowledging the cost of non-invertibility. In addition, we show that penalizing distance between densities is often wasteful and propose a bound based on measuring the extent to which the support of the source domain covers the target domain. We perform experiments on well-known benchmarks that illustrate the short-comings of current standard practice.

研究の動機と目的

• 協変量シフトと部分的な重なりの下で、ドメイン不変表現の十分性を疑う。
• 非可逆表現を考慮した一般化境界を提供する。
• 単に密度距離だけでなく、源と標的のサポート重なりに基づく境界を提案する。
• 表現学習がターゲット性能を助ける場合と害する場合を調べ、理論をベンチマークと関連付ける。

提案手法

• 固定表現下および非可逆変換下での共変量シフトに基づくドメイン適応境界をレビュー・形式化する。
• ソースとターゲットのサポートの重なりを測るサポート十分性発散を導入する。
• 表現の情報損失に関連する観測可能項と観測不可能項を分離する新しいターゲットリスク境界（定理2）を導出する。
• 外挿仮定の下で境界を緊密化するための関数クラスを活用したIPMベースの派生（定理3）で境界を拡張する。
• 密度マッチングを通じてドメイン不変性を課すコストを分析し、MMDベースの距離との比較を含む。
• MNIST/MNIST-Mを用いた実験を実施し、標準的なドメイン不変法が下回る場合を示す。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変表現が信頼できるターゲットリスク最小化を導く条件は何か？
• RQ2 表現の非可逆性は観測不能な適応誤差にどう影響するか？
• RQ3 サポート重なりに基づく境界は、密度距離ベースの境界よりも厳しく、より有益な保証を提供できるか？
• RQ4 情報喪失のためにドメイン不変性を強制するのは、いつ予測性能を害するか？
• RQ5 標準的なドメイン適応ベンチマークにおける理論的知見は、経験的結果とどのように整合するか？

主な発見

• サポートの重なりが限られている場合や非可逆情報が失われる場合、ドメイン不変表現は最適とは限らず、良好なターゲットリスクを保証できない。
• ソースサポートがターゲットをどの程度覆うかに基づく境界（サポート十分性）は、密度距離のみを基準とする境界より適応リスクをより良く特徴づける。
• 非可逆表現は観測不可の情報損失項を生み、ソースの性能が良く見えてもターゲット性能を低下させ得る。
• 密度距離（例：MMD）を罰することが必ずしも有益とは限らず、サポートが完全に重ならない場合には真の適応困難さを過大/過小評価する可能性がある。
• 損失クラスの仮定を伴うより厳密なIPMベースの境界は、外挿仮定がある設定で一般的な境界より改善される。
• MNIST/MNIST-Mの実証実験は、ラベルマージナルシフトの下で特にソースのみやターゲット調整ベースラインと比較して、ドメイン対決的学習が不調になるシナリオを示す。