[論文レビュー] Domain Generalization -- A Causal Perspective

Paras Sheth, Raha Moraffah+3 more|arXiv (Cornell University)|Sep 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、ドメイン一般化のための因果枠組みを提案し、手法を3段階に分類する：因果的データ拡張（前処理）、不変因果表現学習（表現学習）、因果的メカニズムの転送（分類）。体系的な分類法、ベンチマーク、評価ガイドラインを提供し、将来の研究における自然言語処理およびグラフデータ分野における未開拓分野を強調する。

ABSTRACT

Machine learning models rely on various assumptions to attain high accuracy. One of the preliminary assumptions of these models is the independent and identical distribution, which suggests that the train and test data are sampled from the same distribution. However, this assumption seldom holds in the real world due to distribution shifts. As a result models that rely on this assumption exhibit poor generalization capabilities. Over the recent years, dedicated efforts have been made to improve the generalization capabilities of these models collectively known as -- extit{domain generalization methods}. The primary idea behind these methods is to identify stable features or mechanisms that remain invariant across the different distributions. Many generalization approaches employ causal theories to describe invariance since causality and invariance are inextricably intertwined. However, current surveys deal with the causality-aware domain generalization methods on a very high-level. Furthermore, we argue that it is possible to categorize the methods based on how causality is leveraged in that method and in which part of the model pipeline is it used. To this end, we categorize the causal domain generalization methods into three categories, namely, (i) Invariance via Causal Data Augmentation methods which are applied during the data pre-processing stage, (ii) Invariance via Causal representation learning methods that are utilized during the representation learning stage, and (iii) Invariance via Transferring Causal mechanisms methods that are applied during the classification stage of the pipeline. Furthermore, this survey includes in-depth insights into benchmark datasets and code repositories for domain generalization methods. We conclude the survey with insights and discussions on future directions.

研究の動機と目的

• 分布シフト下での機械学習モデルの限界を克服するため、一般化性能の向上に因果性を活用すること。
• モデルパイプラインにおいて因果性がいつ、どのように適用されるかに基づき、既存の因果に配慮したドメイン一般化手法を分類すること。
• 再現可能性およびベンチマークのためのデータセット、評価指標、コードリポジトリの包括的なサーベイを提供すること。
• 特に自然言語処理およびグラフベースのデータにおいて、因果表現学習とメカニズム転送が未開拓の研究分野であることを同定すること。
• 標準的な正解率を超えた因果評価指標を提唱し、学習済み表現における不変因果特徴の妥当性を検証すること。

提案手法

• 因果に配慮したドメイン一般化手法を3段階に分類する：前処理（因果的データ拡張）、表現学習（不変因果表現学習）、分類（因果的メカニズムの転送）。
• 不変性と干渉の因果理論を用いて、複数のドメインにわたる安定的で分布に依存しない特徴を同定する。
• 多源ドメイン一般化の評価に、ドメインを1つずつ除外する交差検証戦略（leave-one-domain-out）を適用する。
• モデル選択に、学習ドメインを訓練用と検証用に分割する訓練ドメイン検証を採用する。
• 表現-ラベルの関連性を評価するため、最大情報係数（MIC）や全情報係数（TIC）といった追加の因果評価指標を導入する。
• テキストおよびグラフデータへ分類法を拡張し、これらのモダリティにおける因果表現学習とメカニズム転送のギャップを同定する。

実験結果

リサーチクエスチョン

• RQ1 機械学習パイプラインの異なる段階にわたり、因果性を体系的に活用する方法は何か？
• RQ2 因果性がデータ拡張、表現学習、分類の各段階でどのように異なる形で適用されるか、その主な違いは何か？
• RQ3 なぜ自然言語処理およびグラフベースのドメイン一般化において、因果表現学習と因果的メカニズム転送が未開拓の分野となっているのか？
• RQ4 MIC や TIC といった因果評価指標は、従来の正解率ベースの指標とどのように補完し合うか？モデルの頑健性を評価する上で。
• RQ5 因果に配慮したドメイン一般化手法を比較する際に、最も効果的なベンチマークと評価プロトコルは何か？

主な発見

• 提案された3段階分類法（因果的データ拡張、不変因果表現学習、因果的メカニズム転送）は、既存手法を分類する明確なフレームワークを提供する。
• 因果的データ拡張は自然言語処理およびグラフデータ分野で十分に確立されているが、因果表現学習とメカニズム転送はこれらの分野で未だに未開拓の分野である。
• MIC および TIC を用いた評価により、因果に配慮したモデルでは、学習済み表現と真のラベルとの間で強い整合性が確認され、因果不変性の妥当性が裏付けられた。
• ドメインを1つずつ除外するプロトコルは、多源ドメイン一般化の評価において最も広く用いられており、未観測ドメインに対しても頑健性を確保する。
• ColoredMNIST や RotatedMNIST などのベンチマークデータセットが広く使用されており、最近の研究ではテキストおよびグラフベースのベンチマークへの拡張がなされている。
• 本サーベイでは、正解率を超えた標準化された因果評価指標の導入が、学習済み特徴の不変性を検証するために不可欠であると指摘した。