[論文レビュー] Few-shot Domain Adaptation by Causal Mechanism Transfer

Takeshi Teshima, Issei Sato+1 more|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 22

ひとこと要約

本論文は、因果的メカニズム転送を用いた回帰のための少サンプルドメイン適応手法を提案する。非線形ICAから得られる共通の非線形可逆混合関数（非線形ICAからのもの）をソースデータから推定し、限られたターゲットデータを拡張するために用いる。この手法は、分布が著しく異なるドメイン間で効果的な知識転送を可能にし、一般化U統計量および超過リスクバウンドを通じた理論的保証により、最先端の性能を達成する。

ABSTRACT

We study few-shot supervised domain adaptation (DA) for regression problems, where only a few labeled target domain data and many labeled source domain data are available. Many of the current DA methods base their transfer assumptions on either parametrized distribution shift or apparent distribution similarities, e.g., identical conditionals or small distributional discrepancies. However, these assumptions may preclude the possibility of adaptation from intricately shifted and apparently very different distributions. To overcome this problem, we propose mechanism transfer, a meta-distributional scenario in which a data generating mechanism is invariant among domains. This transfer assumption can accommodate nonparametric shifts resulting in apparently different distributions while providing a solid statistical basis for DA. We take the structural equations in causal modeling as an example and propose a novel DA method, which is shown to be useful both theoretically and experimentally. Our method can be seen as the first attempt to fully leverage the structural causal models for DA.

研究の動機と目的

• 既存のドメイン適応手法が顕著な分布類似性やパラメトリックな仮定に依存するという限界に対処すること。
• 非パラメトリックで複雑な分布シフトが生じる状況下でも動作する、回帰のための少サンプルドメイン適応フレームワークを開発すること。
• ドメイン間で不変のデータ生成メカニズムに基づくメタ分布転送仮定を形式化すること。
• 構造的因果モデルを活用する理論的裏付けのあるドメイン適応手法を提供すること。
• 最小限のラベル付きターゲット例での実世界の計量経済データにおいて、メカニズム転送の有効性を実証すること。

提案手法

• 非線形独立成分分析（非線形ICA）を用いて、ソースドメインのデータから非線形可逆混合関数 f を推定する。
• データ生成メカニズム f がソースおよびターゲットドメインで不変であると仮定し、知識の転送を可能にする。
• ターゲットドメインのデータは、推定された f の逆関数を適用することで合成サンプルを生成し、拡張する。この際、元の独立成分の独立性を活用する。
• 拡張されたターゲットデータを用いて最終的な予測器を訓練し、低データ環境下でのサンプル効率を向上させる。
• 一般化U統計量を用いた理論的裏付けにより、理想状態では一様に最小分散不偏推定量が得られることを示す。
• 有限標本状況をカバーする超過リスクバウンドを導出することで、パラメトリック仮定なしに一般化性能を保証する。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットの分布が著しく異なる場合でも、共通のデータ生成メカニズムが、効果的な少サンプルドメイン適応を可能にするか？
• RQ2 非線形ICAを用いて非線形混合関数 f を推定することで、ラベル付き例が僅かしかないターゲットドメインに対しても正当な知識転送が可能か？
• RQ3 本手法は、分布類似性やパラメトリック仮定に依存する既存のドメイン適応手法よりも優れた一般化性能を達成できるか？
• RQ4 メカニズム転送に基づくデータ拡張手順に対して、どのような理論的保証を提供できるか？
• RQ5 本手法は、ラベル付きターゲットデータが限られた実世界の回帰タスクにおいて、どのように実証的に性能を発揮するか？

主な発見

• 提案手法は、実世界の計量経済データセットにおいて最先端の性能を達成し、少サンプル設定下で既存のドメイン適応ベースラインを上回る。
• 理論的分析により、理想状態ではデータ拡張手順が一様に最小分散不偏推定量を生成することが示され、統計的効率性が保証される。
• 超過リスクバウンドが導出され、パラメトリック仮定なしに有限標本状況における一般化性能を保証する理論的根拠が得られる。
• 本手法は、非パラメトリックで複雑な分布シフトが生じるドメイン間でも、知識を効果的に転送でき、分布が視覚的または統計的に著しく異なる場合でも有効である。
• 本手法は、ドメイン適応における構造的因果モデルを完全に活用する最初の手法であり、転送学習におけるメカニズム不変性の有用性を示している。
• 実験的結果により、メカニズム転送が効果的なデータ拡張を可能にし、小規模なターゲットデータセットにおいて予測精度を顕著に向上させることを確認した。