[論文レビュー] Causality Inspired Representation Learning for Domain Generalization

Fangrui Lv, Jian Liang+5 more|arXiv (Cornell University)|Mar 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

本稿では、因果的要因と非因果的要因の分離、要因間の同時独立性、因果的十分性の3つの理想的な性質を強制することで、不変で因果的に十分な表現を学習する、ドメイン一般化手法である因果的インスピレーション表現学習（CIRL）を提案する。因果的干渉と要因分解モジュールを活用することで、PACSなどのベンチマークデータセットで最先端の性能を達成し、未知のドメインシフト下で86.32%の平均精度を達成した。

ABSTRACT

Domain generalization (DG) is essentially an out-of-distribution problem, aiming to generalize the knowledge learned from multiple source domains to an unseen target domain. The mainstream is to leverage statistical models to model the dependence between data and labels, intending to learn representations independent of domain. Nevertheless, the statistical models are superficial descriptions of reality since they are only required to model dependence instead of the intrinsic causal mechanism. When the dependence changes with the target distribution, the statistic models may fail to generalize. In this regard, we introduce a general structural causal model to formalize the DG problem. Specifically, we assume that each input is constructed from a mix of causal factors (whose relationship with the label is invariant across domains) and non-causal factors (category-independent), and only the former cause the classification judgments. Our goal is to extract the causal factors from inputs and then reconstruct the invariant causal mechanisms. However, the theoretical idea is far from practical of DG since the required causal/non-causal factors are unobserved. We highlight that ideal causal factors should meet three basic properties: separated from the non-causal ones, jointly independent, and causally sufficient for the classification. Based on that, we propose a Causality Inspired Representation Learning (CIRL) algorithm that enforces the representations to satisfy the above properties and then uses them to simulate the causal factors, which yields improved generalization ability. Extensive experimental results on several widely used datasets verify the effectiveness of our approach.

研究の動機と目的

• 統計的依存に基づくドメイン一般化手法の限界に取り組む。これらは因果的理解が欠如しているため、分布シフト下で失敗する。
• 構造的因果モデル（SCM）の枠組み内でドメイン一般化を形式化し、ドメイン間で不変な因果的要因とドメイン依存の非因果的要因を区別する。
• 観察可能な表現を用いて、未観測の因果構造を実用的に近似する手法を開発する。
• 因果的干渉と要因分解を通じて不変性を強制することで、学習された表現がドメインシフトに対して不変であることを保証する。
• 因果的インスピレーション表現が、分布外のテストドメインにおいて一般化性能と耐性を向上させることを実証する。

提案手法

• 入力Xが因果的要因Sと非因果的要因Uの混合である構造的因果モデル（SCM）を提案し、Y（ラベル）に影響するのはSに限る。
• Sは不変でUが変化した摂動データを生成する因果的干渉モジュールを導入し、ドメイン間での表現不変性を強制する。
• 表現次元間の同時独立性を強制する要因分解モジュールを設計する。
• 各表現次元が分類に必要な本質的かつ重複のない因果的情報を捉えるように、因果的十分性を強制する。
• 因果構造を保持しつつドメイン間で表現を一致させるためにコントラスト学習の目的関数を用いる。
• 標準的なバックプロパゲーションを用いて、因果的干渉モジュールと要因分解モジュールをエンドツーエンドの学習フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 因果的表現学習は、統計的依存モデルの枠組みを越えてドメイン一般化を改善できるか？
• RQ2 観察可能な表現を用いて、未観測の因果的要因を実用的に効果的に近似できるか？
• RQ3 分離、同時独立性、因果的十分性を満たす表現は、OOD一般化を向上させるか？
• RQ4 実世界のドメインシフト状況において、ハイパーパrameterの選択にどの程度頑健か？
• RQ5 視覚的注意マップは、CIRLが偶然的でドメイン依存のパターンではなく、カテゴリ特異的因果的特徴を学習していることを確認できるか？

主な発見

• CIRLは、Sketchを未知のターゲットドメインとするPACSデータセットで、86.32%の最先端の平均精度を達成し、既存のSOTA手法を上回った。
• アブレーションスタディにより、因果的干渉、要因分解、敵対的モジュールのすべてのコンポONENTが不可欠であることが確認され、要因分解を除いたバリアントでは84.99%にとどまる一方、完全なCIRLモデルは86.32%を達成した。
• トレーニング中に表現の独立性が著しく向上し、非対角成分のフロベニウスノルムが減少して安定化することで、効果的な同時独立性学習が確認された。
• CIRLは平均表現重要度3.22、標準偏差0.09を達成し、各次元が分類に意味的にかつ一貫して寄与していることが示された。
• ハイパーパrameterの変動に対しても頑健であり、τ（5.0–10.0）およびκ（0.5–0.6）の広い範囲で高い性能を維持し、安定性が確認された。
• 可視化結果から、CIRLはガゼルの首などカテゴリ特異的特徴に注目している一方、ベースラインはテクスチャなど非因果的でドメイン依存のパターンに注目していることが明らかになり、因果的整合性が裏付けられた。