[論文レビュー] Invariant and Transportable Representations for Anti-Causal Domain Shifts

Yibo Jiang, Victor Veitch|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、ラベルが特徴を引き起こす反因果的ドメインシフト（anti-causal domain shifts）のための表現学習フレームワーク、ACTIRを提案する。本手法は、観察されない交絡要因を含む因果モデルを用いて、不変（因果的）要因とドメイン固有（非因果的）要因を分離し、ドメイン不変の予測と高速な適応を可能にする。ACTIRはPACSおよびVLCSベンチマークで最先端の性能を達成し、不変精度と微調整速度の両面でIRMおよびMAMLを上回っている。

ABSTRACT

Real-world classification problems must contend with domain shift, the (potential) mismatch between the domain where a model is deployed and the domain(s) where the training data was gathered. Methods to handle such problems must specify what structure is common between the domains and what varies. A natural assumption is that causal (structural) relationships are invariant in all domains. Then, it is tempting to learn a predictor for label $Y$ that depends only on its causal parents. However, many real-world problems are "anti-causal" in the sense that $Y$ is a cause of the covariates $X$ -- in this case, $Y$ has no causal parents and the naive causal invariance is useless. In this paper, we study representation learning under a particular notion of domain shift that both respects causal invariance and that naturally handles the "anti-causal" structure. We show how to leverage the shared causal structure of the domains to learn a representation that both admits an invariant predictor and that also allows fast adaptation in new domains. The key is to translate causal assumptions into learning principles that disentangle "invariant" and "non-stable" features. Experiments on both synthetic and real-world data demonstrate the effectiveness of the proposed learning algorithm. Code is available at https://github.com/ybjiaang/ACTIR.

研究の動機と目的

• 因果関係が不変であるが、ラベルから特徴への方向が逆転している（反因果的）現実世界の機械学習におけるドメインシフトに対処すること。この場合、標準的な因果不変性手法は効果を発揮しない。
• 共有される反因果的構造とドメイン間での交絡要因駆動の変動に基づく、ドメインシフトの新しいクラスを形式化すること。
• 不変予測と新しいドメインにおける高速適応を可能にする表現を学習する手順を開発すること。
• 実験的に、本手法が不変要因と適応要因を正しく分離し、多様なドメインにわたって良好に一般化することを検証すること。

提案手法

• YがXを引き起こし、Uがドメイン固有の関連性を誘発する、潜在的交絡要因UとXの潜在的原因Zを含む構造的因果モデルを導入する。
• ドメインシフトを、因果構造P(Y|Z)が不変である一方で、観測されない交絡要因Uの分布がドメイン間で変化することとして定式化する。
• 対照学習と不変性正則化を用いて、特徴を不変（Z）とドメイン固有（U関連）の成分に分離する表現学習目的を提案する。
• 二重ストリームニューラルアーキテクチャを用いる：Z用の共有エンコーダと、U用のドメイン固有ヘッド。これにより、微調整による高速適応が可能になる。
• ドメイン間で不変な表現を促進する対照損失と、非不変特徴をモデル化するドメイン固有ヘッドを採用する。
• Adamを用いたエンドツーエンドの訓練と、学習率スケジューリングを実施し、テストドメインにおける不変性能と微調整精度の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 YがXを引き起こす反因果的構造を考慮しつつ因果不変性を尊重するドメインシフトの原理的定式化は可能か？
• RQ2 不変性と新しいドメインにおける高速適応の両方を実現する表現をどのように学習できるか？
• RQ3 反因果的状況下で、不変（因果的）および非不変（交絡要因駆動）の変動要因を分離できるか？
• RQ4 提案手法は、現実世界のベンチマークにおいて、既存のドメイン一般化および少数のショット適応ベースラインを上回るか？

主な発見

• PACSデータセットでは、アートドメインで82.55%、コマックドメインで76.62%、フォトドメインで94.17%、スケッチドメインで62.14%の不変精度を達成し、ACTIRは最高の性能を示した。
• VLCSデータセットでは、Caltechで95.15%、LabelMeで64.34%、SUNで72.31%、VOCSで74.12%の不変精度を達成し、大多数のドメインでIRMおよびMAMLを上回った。
• PACSベンチマークにおいて、わずか20ステップと10^-2の学習率での微調整後、ACTIRは1つのドメインを除き、すべてのドメインで最良の適応性能を達成した。
• ラベル分布がドメイン間で一貫しない状況でも、ACTIRは頑健であることが示された。VLCSではクラス不均衡が存在しても強力な性能を維持した。
• 定性的な分析から、ACTIRは不変特徴（例：形状）とドメイン固有特徴（例：色、質感）を効果的に分離していることが示唆された。特に、訓練ドメインが多様な場合に顕著であった。
• PACSのスケッチドメイン（S）ではACTIRが性能を発揮しなかったが、これは訓練データに色のないドメインが不足しているためであり、より多様な訓練分布の必要性を示唆している。