[論文レビュー] Domain Generalization via Contrastive Causal Learning

Qiaowei Miao, Junkun Yuan+1 more|arXiv (Cornell University)|Oct 6, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、因果推論と対照的学習を活用してゼロショット一般化を向上させる、ドメイン一般化のための新規フレームワーク「対照的因果モデル」（CCM）を提案する。画像からラベルへの因果的影響をフロントドア基準によってモデル化し、学習済みデータからの事前知識を用いて未学習の画像の予測をガイドすることで、PACS、OfficeHome、TerraIncognitaの全データセットで最先端の性能を達成し、後者の2つのデータセットで平均68.4%の正確度を達成した。

ABSTRACT

Domain Generalization (DG) aims to learn a model that can generalize well to unseen target domains from a set of source domains. With the idea of invariant causal mechanism, a lot of efforts have been put into learning robust causal effects which are determined by the object yet insensitive to the domain changes. Despite the invariance of causal effects, they are difficult to be quantified and optimized. Inspired by the ability that humans adapt to new environments by prior knowledge, We develop a novel Contrastive Causal Model (CCM) to transfer unseen images to taught knowledge which are the features of seen images, and quantify the causal effects based on taught knowledge. Considering the transfer is affected by domain shifts in DG, we propose a more inclusive causal graph to describe DG task. Based on this causal graph, CCM controls the domain factor to cut off excess causal paths and uses the remaining part to calculate the causal effects of images to labels via the front-door criterion. Specifically, CCM is composed of three components: (i) domain-conditioned supervised learning which teaches CCM the correlation between images and labels, (ii) causal effect learning which helps CCM measure the true causal effects of images to labels, (iii) contrastive similarity learning which clusters the features of images that belong to the same class and provides the quantification of similarity. Finally, we test the performance of CCM on multiple datasets including PACS, OfficeHome, and TerraIncognita. The extensive experiments demonstrate that CCM surpasses the previous DG methods with clear margins.

研究の動機と目的

• ドメインシフト下における深層学習モデルの分布外一般化の欠如に対処すること。
• 包括的で新しい因果グラフを用いてドメイン一般化を因果推論問題として形式化すること。
• ドメイン固有の相関とは無関係に、画像がラベルに与える真の因果的影響を定量化・最適化すること。
• 同じクラスの特徴が異なるドメインにわたってクラスタリングされるような、対照的類似度学習を通じた特徴表現学習の向上。
• ドメイン固有の適応なしに未学習のターゲットドメインに強く一般化できる統合型フレームワークの開発。

提案手法

• ドメイン（D）、オブジェクト（O）、カテゴリ（C）、背景特徴（E）、画像（X）、事前知識（Z）、ラベル（Y）を含む新しい因果構造的モデル（SCM）を導入。DはOとEに影響を与え、XはZに関連付けられる。
• 未観測の交絡要因が存在する状況下でも、因果的影響を定量化可能となるように、フロントドア基準を適用。P(X)、P(Z|X)、P(Y|Z,X)に分解することで、do(X)→Yの因果的影響を推定する。
• 3段階の訓練目的を設計：(i) XとYの相関を学習するドメイン条件付きの教師あり学習；(ii) フロントドア公式を用いてP(Y|do(X))を推定する因果的影響学習；(iii) 同一クラスの特徴をクラスタリングする対照的類似度学習。
• 対照的学習を用いて、同じクラスに属する画像間の特徴類似度を強制することで、ドメインをまたいで一般化性能が向上し、表現学習が安定化する。
• ドメイン要因Dを制御することで、D→OおよびD→Eの誤った経路を排除し、XからYへの真の因果的経路をフロントドア基準によって分離する。
• 学習済み画像から得られる事前知識（Z）に未学習の画像をマッピングする知識移転メカニズムを採用し、未学習ドメインへの一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、ドメイン間で安定した不変関係を捉える因果推論問題としてドメイン一般化を形式化できるか？
• RQ2 ドメイン固有の分布シフトとは無関係に、入力画像がラベルに与える真の因果的影響をどのように定量化・最適化できるか？
• RQ3 学習済みデータからの事前知識が、未学習ドメインへのゼロショット一般化を可能にする役割は何か？
• RQ4 対照的類似度学習は、ドメイン一般化における学習表現の頑健性と不変性をどのように向上させるか？
• RQ5 因果推論と対照的学習を統合した統合型モデルは、多様なベンチマークで既存のドメイン一般化手法を上回る性能を達成できるか？

主な発見

• CCMはOfficeHomeおよびTerraIncognitaデータセットで平均68.4%の正確度を達成し、すべてのベースライン手法を上回った。
• PACSでは87.0%の正確度を達成し、次に良い手法と明確な差を示した。
• アブレーションスタディの結果、知識移転損失（ℒ_teach）を削除すると性能がほぼランダムレベルまで低下し、これが基本的な相関を学習する上で極めて重要な役割を果たしていることが示された。
• 因果的影響学習（ℒ_learn）と対照的類似度（ℒ_CS）の組み合わせが最良の性能をもたらし、両者の相乗効果を確認した。
• t-SNE可視化により、CCMは各クラスごとによりコンパクトで明確に分離された特徴クラスタを生成しており、多様体のような構造が得られており、表現学習の向上が裏付けられた。
• CCMは、どの1つのドメインでも最高ではないが、TerraIncognitaで最高の平均正確度を達成し、多様なドメインにわたる優れた安定性と一般化性能を示した。