[論文レビュー] Accounting for Unobserved Confounding in Domain Generalization

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 6

ひとこと要約

本稿では、ドメイン一般化における観測されない交絡要因を考慮する分布的にロバストな最適化手法である誘導不変リスク最小化（DIRM）を提案する。この手法は、環境間で誤差の導関数に部分的な不変性を課すことで、観測されない交絡要因の影響を緩和する。マルチモodalな医療データ（画像、音声、表形式データ）を用いた実験により、DIRMはERMおよびIRMよりも一般化性能と特徴選択の安定性に優れ、特に観測されない交絡要因が存在する状況でも顕著な改善を示している。

ABSTRACT

This paper investigates the problem of learning robust, generalizable prediction models from a combination of multiple datasets and qualitative assumptions about the underlying data-generating model. Part of the challenge of learning robust models lies in the influence of unobserved confounders that void many of the invariances and principles of minimum error presently used for this problem. Our approach is to define a different invariance property of causal solutions in the presence of unobserved confounders which, through a relaxation of this invariance, can be connected with an explicit distributionally robust optimization problem over a set of affine combination of data distributions. Concretely, our objective takes the form of a standard loss, plus a regularization term that encourages partial equality of error derivatives with respect to model parameters. We demonstrate the empirical performance of our approach on healthcare data from different modalities, including image, speech and tabular data.

研究の動機と目的

• 観測変数によって捉えきれない分布シフトを引き起こす未観測の交絡要因が存在する状況における分布外一般化の課題に対処すること。
• 観測変数が捉えていない分布シフトに対しても性能を維持できるロバストな学習目的の開発。
• 因果的学習と相関に基づく学習の間のギャップを埋めるために、未観測の交絡要因を考慮した新たな不変性原理の形式化。
• 医療応用における多様なデータ分布において、特徴選択の再現性を向上させること。
• 提案手法がERM、IRM、RExに対して、マルチモーダルおよび臨床データ設定で実証的に優位であることを示すこと。

提案手法

• 環境間でモデルパラメータに関する誤差導関数の部分的等価性を課すことで、未観測の交絡要因に対する不変性の緩和を提案。
• 標準損失と導関数不変性を促進する正則化項を組み合わせた、分布的にロバストな最適化目的を導出。
• 不確実性集合を訓練データ分布のアフィン結合として定義し、観測変数および未観測変数の両方のシフトに対してロバスト性を実現。
• ハイパーパrameter λ を用いて、因果的解（λ→∞）と通常最小二乗法（λ=0）の間を補間し、適応的ロバスト性を実現。
• 実世界の医療データセットを用いて、マルチモーダルデータ（画像、音声、表形式）および生存予測に本手法を適用。
• 特徴選択の安定性分析のため、100回のランダムなデータ分割に対して、1層ネットワークを用いてトップ特徴の一貫性を評価。

実験結果

リサーチクエスチョン

• RQ1 未観測の交絡要因が条件付き分布 P(Y|X) をシフトさせる状況下で、どのようにしてロバストな一般化を達成できるか。
• RQ2 交絡要因が未観測である場合に、どのような不変性を強制可能であり、これは不変リスク最小化（IRM）における標準的不変性とどのように異なるか。
• RQ3 誤差導関数の不変性に基づく正則化は、ERM や IRM と比較して、一般化性能および特徴選択の安定性を向上させることができるか。
• RQ4 特に年齢などの重要な予測子が欠落している状況下で、本手法は医療データにおける現実的な分布シフトに対してどのように性能を発揮するか。
• RQ5 本手法は、多様なデータ分布において、どの程度一貫した特徴選択を維持できるか。

主な発見

• マルチモーダルな医療データにおいて、DIRMは ERM、IRM、REx と比較して一般化性能を顕著に向上させ、特に誤った相関や未観測の交絡要因が存在する状況で顕著な改善を示した。
• 音声認識タスクでは、DIRMは録音タイプに起因する誤った差異を是正し、誤差率を低下させ、ERM や IRM を上回った。
• 心不全データを用いた生存予測では、年齢を予測子として省略しても、最先端の手法と同等の性能を達成した。これは、未観測の交絡要因に対して強いロバスト性を示している。
• 100回の実験のうち80回でトップ10の影響力を持つ特徴を回復した一方、ERM ではたった4回にとどまった。これは、特徴選択の再現性が著しく優れていることを示している。
• λ ∈ [0,1] の範囲で、環境間で特徴選択が安定しており、訓練分布のアフィン結合下での理論的安定性を裏付けた。
• 理論的保証は訓練分布のアフィン包内でのシフトに限られるため、未観測で極端な分布シフトが発生する場合には注意が必要である。