[論文レビュー] On Learning Domain-Invariant Representations for Transfer Learning with Multiple Sources

Trung Phung, Trung Le+5 more|arXiv (Cornell University)|Nov 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿は、マルチソース・ドメイン適応（MSDA）およびドメイン一般化（DG）設定におけるドメイン不変（DI）表現の理論的枠組みを提案する。新たなターゲット一般化損失の上限に関する新しい上限を導出し、それらから一般型と圧縮型の2種類のDI表現を導出する。両者にはトレードオフが存在する：過度な圧縮は性能を損なうが、中程度の圧縮は耐性を向上させ得る。Colored MNISTおよびPACSにおける実験により理論的考察が裏付けられ、中間的圧縮レベルで最適な性能が得られることが示された。

ABSTRACT

Domain adaptation (DA) benefits from the rigorous theoretical works that study its insightful characteristics and various aspects, e.g., learning domain-invariant representations and its trade-off. However, it seems not the case for the multiple source DA and domain generalization (DG) settings which are remarkably more complicated and sophisticated due to the involvement of multiple source domains and potential unavailability of target domain during training. In this paper, we develop novel upper-bounds for the target general loss which appeal to us to define two kinds of domain-invariant representations. We further study the pros and cons as well as the trade-offs of enforcing learning each domain-invariant representation. Finally, we conduct experiments to inspect the trade-off of these representations for offering practical hints regarding how to use them in practice and explore other interesting properties of our developed theory.

研究の動機と目的

• マルチソース・ドメイン適応（MSDA）およびドメイン一般化（DG）設定におけるドメイン不変（DI）表現の厳密な理論的理解の欠如に対処すること。
• MSDAおよびDGにおけるターゲット一般化損失の上限を確立し、DI表現の形式的特徴付けを可能にすること。
• 性能と不変性の観点から、一般型DI表現と圧縮型DI表現の学習におけるトレードオフを分析すること。
• 実世界の転移学習シナリオにおいて、これらの表現を効果的に活用するための実用的指針を提供すること。
• 合成データ（Colored MNIST）および実世界データ（PACS）を用いた実験により、理論的考察を実証的に検証すること。

提案手法

• MSDAおよびDG設定におけるターゲット一般化損失の2つの新しい上限を導出し、それらをドメイン不変表現学習と関連付ける。
• 2種類のDI表現を定義する：一般型DI表現（ソースドメインとターゲットドメイン間の乖離を最小化）と圧縮型DI表現（次元削減を通じて乖離を最小化）。
• 導出された上限を用いて、2種類の表現タイプ間のトレードオフを分析し、特に圧縮がターゲット損失の下限に与える影響を検討する。
• ドメイン識別器を用いた敵対的訓練により、ソース-ソースおよびソース-ターゲットの圧縮を実装し、特徴空間における不変性を強制する。
• 分類損失、ドメイン敵対的損失、圧縮正則化を統合した統一された最適化目的関数を用いて、両方の表現タイプを最適化する。
• Colored MNIST（MSDA）およびPACS（DG）を用いた実験により、理論的主張を検証し、圧縮強度を変化させ、ターゲット精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 マルチソース・ドメイン適応およびドメイン一般化設定におけるドメイン不変表現の理論的に妥当な定義は何か？
• RQ2 一般型と圧縮型ドメイン不変表現は、帰納的バイアスおよび最適化目的関数においてどのように異なるか？
• RQ3 ターゲット一般化性能の観点から、一般型DI表現と圧縮型DI表現の学習におけるトレードオフは何か？
• RQ4 理論的トレードオフ境界は、ターゲット精度を最大化する最適な圧縮レベルを予測できるか？
• RQ5 ドメインシフトの深刻さ（例えば、近いドメインと遠いドメイン）が変化する条件下で、これらの表現はどのように振る舞うか？

主な発見

• 理論的分析により、一般型DI表現はソースドメインとターゲットドメイン間の乖離を最小化するが、圧縮型DI表現は次元削減を通じて乖離を最小化し、それぞれ異なる帰納的バイアスを有することが明らかになった。
• トレードオフが存在する：過度な圧縮はターゲット損失の下限を上昇させ、特に遠いドメイン設定では性能を低下させる可能性がある。
• Colored MNISTでは、中程度の圧縮がターゲット精度を向上させ、中間的圧縮レベルでピークに達し、その後低下する傾向を示し、理論的トレードオフを裏付けた。
• PACSでは、アートペインティングおよびスケッチの両ターゲットドメインで、圧縮に伴いU字型の精度曲線を示し、性能の最適点（スイートスポット）が存在することが確認された。
• 近いターゲットドメイン（例：アートペインティング）では、圧縮の負の影響が緩和され、圧縮型DI表現がシフトが小さい設定において真のラベル関数をよりよく近似できることを示唆している。
• 一般型DI表現を用いたモデルは学習データに過剰適合し、後続の訓練イテレーションで性能が低下するが、圧縮型DI表現はより良い一般化性能を維持している。