[論文レビュー] Learning Domain-Invariant Relationship with Instrumental Variable for Domain Generalization.

Junkun Yuan, Xu Ma+4 more|arXiv (Cornell University)|Oct 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 6

ひとこと要約

本稿では、入力特徴量とラベルの条件付き分布におけるドメイン不変関係を学ぶために道具用変数（IV）を活用する、ドメイン一般化のための新規手法DRIVEを提案する。1つのドメインからの特徴量を他のドメインの有効なIVとして扱うことで、DRIVEは二段階のIV推定を用いて未観測ドメインにおける一般化性能を向上させ、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

Domain generalization (DG) aims to learn from multiple source domains a model that generalizes well on unseen target domains. Existing methods mainly learn input feature representations with invariant marginal distribution, while the invariance of the conditional distribution is more essential for unknown domain generalization. This paper proposes an instrumental variable-based approach to learn the domain-invariant relationship between input features and labels contained in the conditional distribution. Interestingly, with a causal view on the data generating process, we find that the input features of one domain are valid instrumental variables for other domains. Inspired by this finding, we design a simple yet effective framework to learn the Domain-invariant Relationship with Instrumental VariablE (DRIVE) via a two-stage IV method. Specifically, it first learns the conditional distribution of input features of one domain given input features of another domain, and then it estimates the domain-invariant relationship by predicting labels with the learned conditional distribution. Simulation experiments show the proposed method accurately captures the domain-invariant relationship. Extensive experiments on several datasets consistently demonstrate that DRIVE yields state-of-the-art results.

研究の動機と目的

• 従来のドメイン一般化手法が不変周辺分布に焦点を当てているのに対し、より根本的な不変条件付き分布に焦点を当てる制限を解消すること。
• データ生成の因果構造を明らかにし、1つのドメインからの入力特徴量を他のドメインの有効な道具用変数として特定すること。
• 道具用変数推定を活用してドメイン不変関係を学ぶ、シンプルでありながら効果的なフレームワークを構築すること。
• 提案手法が先行手法よりも真のドメイン不変関係をどれだけ正確に捉えられるかを実証的に検証すること。

提案手法

• 本手法はドメイン一般化を因果推論問題として定式化し、1つのドメインからの入力特徴量を他のドメインでのラベル予測の道具用変数として用いる。
• 二段階の道具用変数アプローチを採用する：まず、あるドメインの特徴量の条件付き分布を他のドメインの特徴量から推定し、次にその推定値を用いてラベルを予測する。
• 第一段階では、ドメイン間の特徴量の関係をモデル化し、ドメイン固有のシフトを捉えつつも、不変な構造的関係を保持する。
• 第二段階では、推定された条件付き分布を代理変数として用いてラベルを予測し、効果的にドメイン不変関係を学習する。
• フレームワークは因果同定理論に裏付けられており、適切な仮定のもとで推定された関係がドメイン間で不変であることを保証する。
• 本手法は、二段階IV推定器の微分可能近似を用いてエンドツーエンドで訓練可能であり、ディープラーニングアーキテクチャへの実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのドメインからの入力特徴量が、他のドメインにおける不変関係の学習に有効な道具用変数として機能できるか？
• RQ2 道具用変数推定を用いてドメイン不変関係を学習することで、周辺分布に基づく手法と比較して未観測ドメインにおける一般化性能が向上するか？
• RQ3 制御されたシミュレーション設定において、提案手法は真のドメイン不変関係をどれだけ正確に捉えられるか？
• RQ4 提案手法は実世界のドメイン一般化ベンチマークでどの程度の実証的性能を示すか？

主な発見

• 提案されたDRIVE手法は、複数の標準的ドメイン一般化ベンチマークで最先端の性能を達成し、既存手法を上回った。
• シミュレーション実験により、DRIVEがドメイン不変関係を正確に捉えていることが確認され、理論的基盤の妥当性が裏付けられた。
• 多様なデータセットにおいて一貫した改善が示されたことから、ドメインシフトやデータ分布の変化に対して高いロバスト性を示した。
• 1つのドメインからの入力特徴量を道具用変数として用いるアプローチは理論的に正当化されており、実証的にも有効であり、ドメイン一般化の新たな視点を提供した。
• 二段階IV推定フレームワークは、データ内に存在するドメイン固有の誤った相関関係と不変な構造的関係を効果的に分離できた。