[論文レビュー] Domain adaptation under structural causal models

Yuansi Chen, Peter Bühlmann|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用数 14

ひとこと要約

本稿は、ドメイン適応（DA）手法の理論的分析のための構造的因果モデル（SCM）フレームワークを提案し、低ターゲット誤差を達成するための重要な仮定を同定する。ターゲットドメインで共変量とラベルの両方が摂動される状況において、既存の手法を上回る性能を示す新しいDA手法CIRMを導入し、理論的保証と実験的検証を併せ持つ。

ABSTRACT

Domain adaptation (DA) arises as an important problem in statistical machine learning when the source data used to train a model is different from the target data used to test the model. Recent advances in DA have mainly been application-driven and have largely relied on the idea of a common subspace for source and target data. To understand the empirical successes and failures of DA methods, we propose a theoretical framework via structural causal models that enables analysis and comparison of the prediction performance of DA methods. This framework also allows us to itemize the assumptions needed for the DA methods to have a low target error. Additionally, with insights from our theory, we propose a new DA method called CIRM that outperforms existing DA methods when both the covariates and label distributions are perturbed in the target data. We complement the theoretical analysis with extensive simulations to show the necessity of the devised assumptions. Reproducible synthetic and real data experiments are also provided to illustrate the strengths and weaknesses of DA methods when parts of the assumptions in our theory are violated.

研究の動機と目的

• 実世界の応用におけるドメイン適応（DA）手法の経験的成功と失敗の背後にある理論的理解の欠如に対処すること。
• DA手法が低ターゲット誤差を達成するために必要な正確な仮定を形式化し、異なる手法間の体系的比較を可能にすること。
• 因果構造（因果的 vs. 反因果的）およびデータ摂動の位置がDA性能に与える影響を調査すること。
• 条件付き不変性とドメイン不変性の原則をSCMに基づいて活用する新しいDA手法CIRMを開発し、より高いロバストネスを実現すること。
• 主要仮定の違反下でのDA手法の評価を統合的かつ理論的・実験的に検証するフレームワークを提供すること。

提案手法

• ソースドメインとターゲットドメインのデータ生成過程をモデル化するため、構造的因果モデル（SCM）フレームワークをドメイン適応に適用する。
• 線形SCMに加法的ノイズを導入し、予測誤差を分析し、DA手法が成功するための条件を導出する。
• ドメイン間で表現の条件付き不変性を強制する新しいDA手法CIRM（条件付き不変表現手法）を提案する。
• 平均シフトの不変性と予測係数の正規化という2つの主要制約を満たす制約付き二次計画問題としてCIRM推定子を導出する。
• 射影行列とグラム・シュミット法による正規直交基底の補完を用いて、線形制約下での最適化問題を解く。
• 異なる摂動シナリオ下でのターゲット母集団リスクを分析することで、CIRMおよび関連手法（例：DIP, RIIRMI）の理論的リスクバウンダリーを確立する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン適応手法が低ターゲット誤差を達成するためには、データ生成過程にどのような仮定が必要か？
• RQ2 予測タスクの因果的性質（因果的 vs. 反因果的）がDA手法の性能にどのように影響を与えるか？
• RQ3 データ摂動の位置（共変量 vs. ラベル）がドメイン不変表現の有効性に影響を与えるか？
• RQ4 DIP や CIP といった既存のDA手法を比較・対比できる統一的理論フレームワークを構築できるか？
• RQ5 提案されたCIRM手法が、共変量とラベルの両方のシフトが生じる状況で、既存のDA手法を上回る条件は何か？

主な発見

• 提示されたSCMフレームワークにより、ドメイン適応における低ターゲット誤差を達成するための仮定（条件付き平均の不変性、分布シフトなど）を明確に同定可能であることが示された。
• ターゲットドメインで共変量とラベルの両方が摂動される状況において、CIRMはDIPおよび他のベースライン手法よりも低いターゲット母集団リスクを達成した。
• 理論的分析により、CIRMのリスクはRIIRMIと同等であることが判明したが、CIRMは不変性と正規化の両方を組み合わせたよりロバストな制約構造を有している。
• シミュレーションでは、不変性仮定が破られるとうまくいかないことが示され、理論的条件の必要性が裏付けられた。
• 合成データおよび実データを用いた再現可能な実験により、CIRMが共変量とラベルの両方の分布シフト下でも、特に反因果的および混合因果的設定で既存手法を上回ることが確認された。
• フレームワークの分析から、ドメイン不変射影（DIP）は反因果的設定では失敗するが、CIRMはその条件付き不変性制約のおかげで低誤差を維持していることが明らかになった。