[論文レビュー] Generalization and Invariances in the Presence of Unobserved Confounding.

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 21, 2020

Machine Learning in Healthcare参考文献 45被引用数 11

ひとこと要約

本論文は、勾配ベースの手法と互換性のある一般化目的関数を定式化することで、観測されない交絡要因が存在する状況下でも、分布シフトにわたって頑健な学習を可能にする因果的一般化原理を提案する。画像や音声などの多様なモodalitiyの医療データにおいて、予測の安定性と一般化性能が向上し、隠れた交絡要因が存在する状況でも有効であることが示された。

ABSTRACT

The ability to extrapolate, or generalize, from observed to new related environments is central to any form of reliable machine learning, yet most methods fail when moving beyond $i.i.d$ data. In some cases, the reason lies in a misappreciation of the causal structure that governs the observed data. But, in others, it is unobserved data, such as hidden confounders, that drive changes in observed distributions and distort observed correlations. In this paper, we argue that generalization must be defined with respect to a broader class of distribution shifts, irrespective of their origin (arising from changes in observed, unobserved or target variables). We propose a new learning principle from which we may expect an explicit notion of generalization to certain new environments, even in the presence of hidden confounding. This principle leads us to formulate a general objective that may be paired with any gradient-based learning algorithm; algorithms that have a causal interpretation in some cases and enjoy notions of predictive stability in others. We demonstrate the empirical performance of our approach on healthcare data from different modalities, including image and speech data.

研究の動機と目的

• 実世界の機械学習設定において一般的に見られる観測されない交絡要因によって引き起こされるデータ分布のシフトに対して、モデルの一般化を課題とする。
• 観測されたデータのシフトにとどまらず、隠れた変数によって駆動されるような、より広範な分布シフトのクラスに対しても一般化を定義する。
• 交絡要因が観測されない状況下でも、予測の安定性と新しい環境への一般化を保証する学習原理を開発する。
• 任意の勾配ベースの学習アルゴリズムと統合可能であり、因果的解釈可能性または安定性を適切に保持する一般で微分可能な目的関数を構築する。

提案手法

• 分布シフトに対する不変性に裏付けられた新しい学習原理を提唱し、観測されない交絡要因を明示的に考慮するため、より広範な環境シフトのクラスを導入する。
• データ生成プロセスの構造的制約を活用することで、交絡要因が観測されない状況下でも、環境間での不変性を強制する一般化最適化目的関数を導出する。
• 提案された目的関数を任意の勾配ベースの学習アルゴリズムと統合し、因果的解釈可能性が特定可能な状況ではそれを保持するエンドツーエンドの学習を可能にする。
• 予測の不変性を促進する表現学習フレームワークを採用し、隠れた交絡要因によって誘発される誤った相関に依存するのを最小限に抑える。
• 観測変数、非観測変数、およびターゲット変数の変化を統一的な一般化フレームワークとして扱う分布シフトモデリングアプローチを採用する。
• 画像や音声を含むマルチモodal医療データに本手法を適用し、現実的な分布シフト下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 観測されない交絡要因が環境間で分布シフトを引き起こす場合、どのように一般化を意味的に定義できるか？
• RQ2 観測された交絡要因と非観測交絡要因の両方によって引き起こされるシフトに対し、統一的な学習原理を構築できるか？
• RQ3 隠れた交絡要因が存在する状況下でも、頑健な一般化を可能にし、勾配ベースの学習と互換性を持つ目的関数は何か？
• RQ4 本手法は、現実の医療データにおける分布外性能と予測安定性の観点から、標準的なベースラインと比較してどのように異なるか？

主な発見

• 提案手法は、観測されない交絡要因が観測相関を歪める状況下でも、医療データの分布外テストセットにおいて一般化性能が向上した。
• 医療画像や音声を含む多様なデータモダリティにおいて、隠れた交絡要因が原因となる分布シフト下でも、予測の安定性が示された。
• 一般目的関数が標準的なディープラーニングフレームワークと互換性があることが実証され、既存のトレーニングパイプラインへのスムーズ統合が可能であることが示された。
• 因果構造が特定可能な状況では、本手法は因果的表現を回復し、予測の因果的解釈可能性を提供した。
• マルチモダリティ医療データを用いた実験結果から、本手法が観測されない交絡要因によって誘発される誤った相関への依存を低減することが確認された。
• 分布シフト下での一般化性能において、標準的な経験的リスク最小化や他の不変性に基づくベースラインを上回る性能を示した。