[論文レビュー] Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation

Bo Li, Yezhen Wang+5 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 11

ひとこと要約

本稿では、一般化性能を向上させるために不変表現と不変リスクを同時に学ぶ新しい半教師付きドメイン適応手法LIRRを提案する。マージナル分布および条件付き分布のシフトを考慮した有限標本一般化バウンドを導出することで、特にラベル付きターゲットデータが限られた状況下でも最先端の手法を上回る性能を示し、表現とリスクの両方における不変性の同時最適化の優位性を実証する。

ABSTRACT

The success of supervised learning hinges on the assumption that the training and test data come from the same underlying distribution, which is often not valid in practice due to potential distribution shift. In light of this, most existing methods for unsupervised domain adaptation focus on achieving domain-invariant representations and small source domain error. However, recent works have shown that this is not sufficient to guarantee good generalization on the target domain, and in fact, is provably detrimental under label distribution shift. Furthermore, in many real-world applications it is often feasible to obtain a small amount of labeled data from the target domain and use them to facilitate model training with source data. Inspired by the above observations, in this paper we propose the first method that aims to simultaneously learn invariant representations and risks under the setting of semi-supervised domain adaptation (Semi-DA). First, we provide a finite sample bound for both classification and regression problems under Semi-DA. The bound suggests a principled way to obtain target generalization, i.e. by aligning both the marginal and conditional distributions across domains in feature space. Motivated by this, we then introduce the LIRR algorithm for jointly extbf{L}earning extbf{I}nvariant extbf{R}epresentations and extbf{R}isks. Finally, extensive experiments are conducted on both classification and regression tasks, which demonstrates LIRR consistently achieves state-of-the-art performance and significant improvements compared with the methods that only learn invariant representations or invariant risks.

研究の動機と目的

• ラベル分布シフト下で失敗する可能性がある、不変表現または不変リスクの一方のみを学ぶ unsupervised domain adaptation 手法の限界を解消する。
• ラベル付きターゲットデータが少量あるというより現実的な半教師付きドメイン適応（Semi-DA）設定を提案する。
• Semi-DA設定における分類および回帰の両方の有限標本一般化バウンドを提供し、ターゲット性能の鍵をなすマージナルおよび条件付き分布の不一致を同定する。
• ターゲットドメインの精度差を低減するために、表現不変性とリスク不変性の両方を同時に最小化する、整合的なアルゴリズムLIRRを開発する。
• 広範な実験を通じて、不変表現と不変リスクの同時学習が、一方の目的のみを最適化する手法に比べて優れた性能を発揮することを示す。

提案手法

• Semi-DA設定における分類（定理4.1）および回帰（定理4.2）の有限標本一般化バウンドを導出し、ターゲット誤差がマージナルおよび条件付き分布の不一致の両方に依存することを示す。
• バウンドの情報理論的解釈を提示し、バウンド最小化アルゴリズムの設計を支援する。
• LIRR（不変表現とリスクの学習）を提案する。これは、特徴のマージナル分布および条件付きラベル分布の両方におけるドメインシフトを最小化するための連合最適化フレームワークである。
• ドメイン間での表現の整合性を高めるためのコントラスト学習目的関数と、最適予測子の整合性を高めるリスク不変正則化項を活用する。
• LIRRにコサイン分類器（CosC）モジュールを統合し、特にラベル付きターゲットデータが少ない状況での性能向上を図る。
• 勾配ベース最適化を用いて、ラベル付きソースデータ、少量のラベル付きターゲットデータ、およびラベルなしターゲットデータを用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 マージナルおよび条件付き分布シフトの両方を考慮した半教師付きドメイン適応のための有限標本一般化バウンドを導出可能か？
• RQ2 不変表現と不変リスクの両方を同時に学習することで、一方のみを最適化する場合に比べてターゲットドメイン一般化性能を向上させられるか？
• RQ3 ラベル付きターゲットデータの割合が、LIRRと他の手法との性能差にどのように影響するか？
• RQ4 LIRRにコサイン分類器（CosC）を組み合わせることで、半教師付きドメイン適応タスクの性能がさらに向上するか？
• RQ5 分類および回帰の両設定において、LIRRは、不変表現または不変リスクの一方に特化した既存のSOTA手法を上回ることができるか？

主な発見

• LIRRは複数のデータセットにおいて画像分類ベンチマークで最先端の性能を達成し、不変表現またはリスクの一方のみを学ぶ手法を上回る。
• 交通量計測回帰タスクでは、1%および5%のラベル付きターゲットデータ条件下で最小の平均絶対誤差（MAE）を達成し、一貫した優位性を示す。
• 25%または30%のラベル付きターゲットデータ条件下では、LIRRおよびその変種LIRR+CosCが、完全にラベル付きターゲットデータで訓練されたオラクルモデルでさえも上回る。
• アブレーションスタディにより、不変表現またはリスクの一方のみを最適化すると、両方を連合で最適化する場合に比べて性能が劣ることが確認され、理論的設計の有効性が裏付けられる。
• Grad-CAMの可視化結果から、LIRRは雪や芝生といった異なるドメイン間で、馬の形状といった不変特徴に注目する能力を学習していることが確認され、強固な特徴学習が実現されている。
• LIRRにコサイン分類器（CosC）を統合することで、LIRR単体よりも顕著な性能向上が得られ、特にデータが少ない状況で顕著である。