[論文レビュー] Domain Generalization using Causal Matching

Divyat Mahajan, Shruti Tople+1 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 65被引用数 81

ひとこと要約

この論文は、クラス条件付きのドメイン不変性がドメイン一般化には不十分であると主張し、マッチングによる因果的・オブジェクトベースの不変性を提案します。これは、MatchDGとMDGHybridを導入し、同一オブジェクト入力をドメイン間で整合させる表現を学習することで、アウト・オブ・ドメイン精度を競合的に達成します。

ABSTRACT

In the domain generalization literature, a common objective is to learn representations independent of the domain after conditioning on the class label. We show that this objective is not sufficient: there exist counter-examples where a model fails to generalize to unseen domains even after satisfying class-conditional domain invariance. We formalize this observation through a structural causal model and show the importance of modeling within-class variations for generalization. Specifically, classes contain objects that characterize specific causal features, and domains can be interpreted as interventions on these objects that change non-causal features. We highlight an alternative condition: inputs across domains should have the same representation if they are derived from the same object. Based on this objective, we propose matching-based algorithms when base objects are observed (e.g., through data augmentation) and approximate the objective when objects are not observed (MatchDG). Our simple matching-based algorithms are competitive to prior work on out-of-domain accuracy for rotated MNIST, Fashion-MNIST, PACS, and Chest-Xray datasets. Our method MatchDG also recovers ground-truth object matches: on MNIST and Fashion-MNIST, top-10 matches from MatchDG have over 50% overlap with ground-truth matches.

研究の動機と目的

• クラス条件付きのドメイン不変表現がドメイン一般化に対して十分であるとする仮説に挑戦する。
• クラス内変動とオブジェクトレベルの安定性を捉える構造的因果モデルを導入する。
• オブジェクトが観測される場合の理想的なパーフェクトマッチ正則化項を提案する。
• オブジェクトが観測されない場合にオブジェクトベースのマッチングを近似するためのMatchDGを開発する。
• データ拡張をパーフェクトなオブジェクトマッチとして活用するためのMDGHybridへ拡張する。

提案手法

• 安定な因果特徴 X_C とドメイン依存特徴 X_A を用いてデータ生成をモデル化し、オブジェクトベースの不変性を定義する。
• 理想的な不変量を定式化する：オブジェクトから派生する入力に対して、同一オブジェクトに起因する場合には表現はドメインを跨いで同じであるべきで、すなわち G(X) は O に条件づけて X_C を跨ぐべきである。
• 同一オブジェクトに対してドメインを跨ぐ表現距離を最小化しつつ予測力を保持するパーフェクトマッチ正則化項を導出する。
• MatchDG を提案する：ERM損失を用いず対比学習で表現を最初に学習する二段階の反復アルゴリズム、次にオブジェクトベースのマッチングを学習して分類器を正則化する。
• データ拡張からの既知のオブジェクトマッチを追加の正則化として組み込むことで MatchDG を MDGHybrid に拡張する。
• 標準的なドメイン不変化手法が X_C を捉えていないことを理論的に正当化し、提案されたパーフェクトマッチ目的関数が真の因果特徴を標的とすることを示す。

実験結果

リサーチクエスチョン

• RQ1 クラス条件付きのドメイン不変性は、安定特徴のクラス内変動のために見たことのないドメインへ一般化できない可能性があるか？
• RQ2 オブジェクトが観測されない場合、ドメイン間で整列するオブジェクトレベルの不変性をどのように同定または近似できるか？
• RQ3 同じオブジェクトの表現の一貫性を強制するマッチングベースの正則化は、アウトオブドメイン一般化を改善するか？
• RQ4 データ拡張は信頼できるパーフェクトマッチを提供してオブジェクトベースのマッチング（MDGHybrid）を強化し、一般化を改善できるか？
• RQ5 MatchDGとMDGHybridは rotated MNIST, Fashion-MNIST, PACS, Chest X-rays のようなベンチマークで最先端のドメイン一般化手法と比較してどうだ？

主な発見

• クラス条件付き不変性は、安定な特徴のドメイン間分布が異なる場合、ドメイン一般化に十分ではない。
• オブジェクト中心の不変性は、因果特徴 X_C に条件づけることで理論的にはドメイン一般化可能な予測を達成できる。
• MatchDG は、反復的な対照学習とマッチングを用いた二段階法で、Rotated MNIST、Fashion-MNIST、PACS、および Chest X-ray データセットでアウト・オブ・ドメイン精度競争力を発揮する。
• オブジェクトマッチが既知のデータセットでは、MatchDG は地上真実に類似したマッチを再現し、上位-10 マッチが50%以上の重なりを示す。
• MDGHybrid はデータ拡張を活用してパーフェクトなオブジェクトマッチを提供し、実践的な性能をさらに向上させる。