[論文レビュー] Causal Balancing for Domain Generalization

Xinyi Wang, Michael Saxon+4 more|arXiv (Cornell University)|Jun 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、2段階のミニバッチサンプリング戦略を用いて、バイアスのあるデータ分布を誤りのないバランスの取れた分布に変換する、新しいドメイン一般化手法であるCausal Balancingを提案する。変分オートエンコーダを用いて潜在的共変量を特定し、訓練例を最も近い潜在クラスタにマッチングさせることで、あらゆる環境においてミニマックス最適なベイズ分類器を実現する。DomainBedベンチマークにおいて20のベースラインを上回る最先端の性能を達成した。

ABSTRACT

While machine learning models rapidly advance the state-of-the-art on various real-world tasks, out-of-domain (OOD) generalization remains a challenging problem given the vulnerability of these models to spurious correlations. We propose a balanced mini-batch sampling strategy to transform a biased data distribution into a spurious-free balanced distribution, based on the invariance of the underlying causal mechanisms for the data generation process. We argue that the Bayes optimal classifiers trained on such balanced distribution are minimax optimal across a diverse enough environment space. We also provide an identifiability guarantee of the latent variable model of the proposed data generation process, when utilizing enough train environments. Experiments are conducted on DomainBed, demonstrating empirically that our method obtains the best performance across 20 baselines reported on the benchmark.

研究の動機と目的

• 機械学習におけるドメイン外（OOD）一般化の課題に取り組むこと。これは、異なる環境間で誤った相関が原因でモデルが失敗するためである。
• 制限的な線形仮定に依存しない、原理的で非線形な因果フレームワークを構築すること。
• 潜在変数モデリングを用いて観測されたデータ分布をバランスの取れた、誤った相関のない分布に変換することで、誤った相関を特定・除去すること。
• 十分な数の訓練環境が存在する条件下で、潜在的交絡要因の同定可能性と、得られる分類器の最適性に関する理論的保証を提供すること。
• 従来のディープラーニングモデルやドメイン一般化手法とシームレスに統合できる、軽量で柔軟なサンプリング戦略を設計すること。

提案手法

• 変分オートエンコーダ（VAE）を訓練し、入力Xから潜在的共変量Zを推定することで、観測されたデータ分布をモデル化する。
• 潜在表現Zに基づいて訓練例をクラスタリングし、各クラスタ中心に最も近いサンプルを選択することで、バランスの取れたミニバッチを構築する。
• バランスの取れたミニバッチでは、各潜在クラスタ内において、各クラスYが均等に表現されるように構成され、誤った相関が低減される。
• 本手法は、因果メカニズムP(X|Y,Z)が環境間で不変であることに依存しており、Y → Xであり、Zがドメイン依存の交絡要因であると仮定する。
• 理論的分析により、バランスの取れた分布上で訓練されたベイズ最適分類器が、すべての環境においてミニマックス最適であることが示された。
• 本手法はプラグアンドプレイであり、モデルアーキテクチャや損失関数を変更せずに、ミニバッチサンプリング戦略の変更のみで実装可能である。

実験結果

リサーチクエスチョン

• RQ1 誤った相関のないバランスの取れたデータ分布は、ドメイン外一般化のためのミニマックス最適分類器を達成できるか？
• RQ2 誤った相関の原因である潜在的交絡要因Zは、非線形設定下で十分に大きな数の訓練環境が存在する場合に同定可能か？
• RQ3 単純で侵襲性のないサンプリング戦略は、モデルや損失関数を変更せずに、誤った相関を効果的に除去できるか？
• RQ4 提案手法は、既存のドメイン一般化ベースラインと比較して、OOD一般化性能においてどのように差をつけるか？
• RQ5 本手法は、現実のデータセットにおいて因果仮定が完全に満たされない場合にも、どの程度頑健であるか？

主な発見

• 提案されたバランスの取れた分布上で訓練されたベイズ最適分類器は、すべての環境においてミニマックス最適であることが保証され、OOD一般化の理論的基盤を提供する。
• 十分に大きな数の訓練環境が存在する場合、提案された仮定のもとで潜在的交絡要因Zは同定可能である。
• 本手法はDomainBedベンチマークで最先端の性能を達成し、複数のデータセットと設定において20の既存ベースラインを上回った。
• 実験的結果から、特にPACSやOfficeHomeのような挑戦的なベンチマークにおいて顕著な性能向上が得られ、先行手法を上回る2%以上の精度向上が確認された。
• 実世界のデータが仮定された因果構造を完全に満たさない場合でも、強力な実験的性能が示され、仮定の違反に対して頑健であることが実証された。
• 軽量でサンプリングに基づくアプローチにより、複雑なモデルや既存のドメイン一般化フレームワークと、アーキテクチャの変更なしにシームレスに統合可能である。