[論文レビュー] I-SPEC: An End-to-End Framework for Learning Transportable, Shift-Stable Models

Adarsh Subbaswamy, Suchi Saria|arXiv (Cornell University)|Feb 20, 2020

Bayesian Modeling and Causal Inference参考文献 46被引用数 7

ひとこと要約

I-Specは、完全な因果DAGに関する事前知識を必要とせずに、データから部分的祖先グラフ（PAG）を学習するエンドツーエンドフレームワークであり、安定した介入分布を特定する。PAGを用いて変更可能な変数の選択をガイドすることで、環境の変化に対して頑健なモデルを学習し、死亡予測およびシミュレートされたデータにおいて、不安定なベースラインおよび過剰に慎重なベースラインを上回る一般化性能と高い判別性能を達成する。

ABSTRACT

Shifts in environment between development and deployment cause classical supervised learning to produce models that fail to generalize well to new target distributions. Recently, many solutions which find invariant predictive distributions have been developed. Among these, graph-based approaches do not require data from the target environment and can capture more stable information than alternative methods which find stable feature sets. However, these approaches assume that the data generating process is known in the form of a full causal graph, which is generally not the case. In this paper, we propose I-SPEC, an end-to-end framework that addresses this shortcoming by using data to learn a partial ancestral graph (PAG). Using the PAG we develop an algorithm that determines an interventional distribution that is stable to the declared shifts; this subsumes existing approaches which find stable feature sets that are less accurate. We apply I-SPEC to a mortality prediction problem to show it can learn a model that is robust to shifts without needing upfront knowledge of the full causal DAG.

研究の動機と目的

• 医療などの安全上の応用分野における環境の変化下でモデルが失敗する問題に対処すること。
• 因果グラフの完全な事前知識がなくてもモデルの安定性を保証する手法を開発すること。
• ターゲット環境のデータに依存せずに、データのみを用いて安定的で移植可能なモデルのエンドツーエンド学習を可能にすること。
• 学習されたPAGを用いて、どのシフトに対して保護すべきかを同定することで、モデルの頑健性を向上させること。
• データから学習した介入分布が、条件付き分布や保守的アプローチよりも正確で安定したモデルをもたらすことを実証すること。

提案手法

• 観測データから因果構造の不確実性を表現する部分的先祖グラフ（PAG）を学習する。
• PAGを用いてd-分離および介入経路を分析することで、変化しやすい変数（変更可能な変数）を同定する。
• 宣言されたシフトに対して安定する変数について、介入分布E[Y|do(X_i)]を定式化する。
• PAGに基づいて最適な変更可能な変数の集合を選択するアルゴリズムを開発し、安定性と予測性能を最大化する。
• 安定した介入分布に基づいて最終モデルを学習し、指定されたシフトに対して不変性を確保する。
• 構造学習と介入ターゲティングを統合し、データから頑健なモデルへのエンドツーエンドパイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 完全な因果DAGの事前知識がなくても、安定した介入分布を学習できるか？
• RQ2 観測データのみを用いて、モデルがどの環境的シフトに対して頑健であるべきかを同定できるか？
• RQ3 データからPAGを学習することで、完全な因果グラフや固定された安定特徴集合に依存する従来の手法よりも優れた一般化性能が得られるか？
• RQ4 このフレームワークは、不安定なモデルとすべてのシフトに対して保護するあまりに慎重なモデルの両方を上回るか？
• RQ5 変更可能な変数の選択が、分布シフト下でのモデルの精度と安定性にどのように影響するか？

主な発見

• I-Specは死亡予測において不安定なモデルを上回り、新しい病院H2およびH3において有意に高いAUROCを達成した。不安定なモデルは、ラボ検査時間と死亡率の関係が逆転したことで性能が低下した。
• I-Specモデルは、すべてのシフトに対して保護する保守的モデルよりも高い判別性能を示した。保守的モデルは予測信号を失ったため。
• シミュレートされたデータにおいて、I-Specの介入モデルは、すべてのシフトの大きさにおいて、条件付きモデルよりも低い平均二乗誤差（MSE）を示し、優れた安定性と正確性を確認した。
• 病院間での予測の順位相関は、I-Spec（中央値ρ = 0.86）が不安定なモデル（中央値ρ = 0.82）よりも一貫性が高かった。これは、患者の順序付けがより安定していることを示している。
• 保守的モデルはわずかに高い順位相関（中央値ρ = 0.90）を示したが、AUROCが悪く、過剰保護が性能を低下させることを確認した。
• I-Specは、機器の違いなどの関連するシフトを適切に同定し、画像プロトコルなどの関係のないシフトを除外することで、より優れた一般化性能と高い正確性を達成した。