[論文レビュー] Invariant Causal Mechanisms through Distribution Matching

Mathieu Chevalley, Charlotte Bunne+2 more|arXiv (Cornell University)|Jun 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、分布マッチングを用いた不変表現学習のための新しい因果フレームワークCausIRLを提案する。このフレームワークは、ドメイン数にかかわらず1ステップあたり1つの分布距離を計算するため、従来の2乗スケーリングに依存する方法と比較して計算コストを大幅に削減する。複数のベンチマークにおいて領域一般化の分野で最先端の性能を達成し、既存モデルの精度を顕著に向上させるとともに、不変性と予測性能のトレードオフをより良好に制御する。

ABSTRACT

Learning representations that capture the underlying data generating process is a key problem for data efficient and robust use of neural networks. One key property for robustness which the learned representation should capture and which recently received a lot of attention is described by the notion of invariance. In this work we provide a causal perspective and new algorithm for learning invariant representations. Empirically we show that this algorithm works well on a diverse set of tasks and in particular we observe state-of-the-art performance on domain generalization, where we are able to significantly boost the score of existing models.

研究の動機と目的

• 既存手法の限界を克服する統一的な因果フレームワークを構築すること。
• 従来の不変正則化がドメイン数に二次的に依存する計算コストを低減すること。
• 分布マッチングによるよりソフトな正則化アプローチにより、モデルの不変性と予測性能のトレードオフを改善すること。
• 領域一般化や公平な表現学習を含む多様なタスクへの広範な適用可能性を示すこと。
• 既存のディープラーニングパイプラインに容易に統合可能な、タスクに依存しないシンプルな手法を提供すること。

提案手法

• 本手法は、不変表現学習に因果的視点を導入し、データ生成プロセスを構造的因果モデルとしてモデル化する。
• 不変性を因果メカニズムの性質として定式化することで、異なるドメインや環境間で表現が安定することを保証する。
• 主なイノベーションは、1トレーニングステップあたり2つのバッチ間でのみ分布距離（例：CORAL や MMD）を計算し、すべてのドメイン組み合わせのペアワイズ距離を計算する必要を回避すること。
• 微分可能損失関数を用いて、ドメイン間の表現分布をマッチングさせる正則化を実装し、明示的な敵対的訓練を不要にする。
• 標準的なディープラーニングフレームワークと互換性のあるプラグインモジュールとして実装され、既存モデルへの容易な統合を可能にする。
• 標準的な領域一般化ベンチマークと、複雑な分布シフトを示す実世界データセットの両方を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 因果フレームワークは、領域一般化や公平な表現学習を含む、不変表現を要する多様なタスクを統一的に扱えるか？
• RQ2 ドメイン数が多い場合に、不変正則化を計算的に効率的に実装できるか？
• RQ3 分布マッチングによるよりソフトな不変性制約は、硬い制約と比較して、性能と安定性のトレードオフを改善するか？
• RQ4 提案手法は、多様なデータセットにおいて領域一般化で最先端の性能を達成できるか？
• RQ5 複雑で観測されていない分布シフトを示す実世界データセットでも、本手法は良好な性能を発揮するか？

主な発見

• DomainBedベンチマークにおいてCausIRL + CORALは平均69.4%の精度を達成し、次に良い手法（ERM）を0.7ポイント上回った。
• VLCSデータセットではCausIRL + CORALが78.2%の精度を達成し、CORALより0.5%、ERMより1.4%高い結果となった。
• Camelyon17ではCausIRL + CORALが62.7%の精度を示し、ロバスト性においてERM（70.3%）を上回ったが、その分散はやや高かった。
• RxRx1ではCausIRL + MMDが28.9%の精度を達成し、MMD（28.2%）をわずかに上回り、ERM（29.9%）と同等の性能を示した。これは、複雑な実世界データでも強力な性能を発揮することを示している。
• IRMやGroupDROに比べてCausIRLはRxRx1で顕著に優れており、IRMは9.9%まで精度が低下した。これは、複雑な分布シフトに対しても頑健であることを示している。
• ColoredMNISTではCausIRL + MMDが63.7%の精度を達成し、ERM（58.3%）を5.4ポイント、IRM（58.7%）を5.0ポイント上回った。これは、分布シフト下でも優れた一般化性能を示している。