[論文レビュー] Reliable Decision Support using Counterfactual Models

Peter Schulam, Suchi Saria|arXiv (Cornell University)|Mar 30, 2017

Complex Systems and Decision Making被引用数 94

ひとこと要約

本論文は、観察時系列データから行動の連続に対する反事実アウトカムを予測する Counterfactual Gaussian Processes (CGP) を提案し、行動に影響を受ける学習ポリシーによる偏りに対処し、個別化治療計画のための信頼できるリスク評価と“what-if”推論を可能にします。

ABSTRACT

Decision-makers are faced with the challenge of estimating what is likely to happen when they take an action. For instance, if I choose not to treat this patient, are they likely to die? Practitioners commonly use supervised learning algorithms to fit predictive models that help decision-makers reason about likely future outcomes, but we show that this approach is unreliable, and sometimes even dangerous. The key issue is that supervised learning algorithms are highly sensitive to the policy used to choose actions in the training data, which causes the model to capture relationships that do not generalize. We propose using a different learning objective that predicts counterfactuals instead of predicting outcomes under an existing action policy as in supervised learning. To support decision-making in temporal settings, we introduce the Counterfactual Gaussian Process (CGP) to predict the counterfactual future progression of continuous-time trajectories under sequences of future actions. We demonstrate the benefits of the CGP on two important decision-support tasks: risk prediction and "what if?" reasoning for individualized treatment planning.

研究の動機と目的

• 標準的な教師あり学習が訓練データの行動ポリシー偏りのために意思決定支援に対して信頼できないことを動機づける。
• ポリシー間の一般化を改善する目的として反事実予測を提案する。
• 行動系列下の連続時間軌道に対して Counterfactual Gaussian Process (CGP) を導入・定式化する。
• 観測トレースを介して CGP を学習するための marked point process を用いた調整済み最大尤度目的関数を開発する。
• CGP が信頼性の高いリスク予測と個別化治療計画の“what-if”推論を促進することを実証する。

提案手法

• 連続時間枠内で actions a のセット C に対する counterfactuals Y[a] をモデル化する。
• 不規則な時系列データを、行動とアウトカムを含む marked point process (MPP) として表現する。
• 歴史と行動に条件付けられた Gaussian process (GP) としてアウトカムモデルをパラメータ化し、時刻と選択を捉えるイベント/行動モデルを組み込む。
• MPP の強度と歴史を介して行動ポリシーを考慮する調整済み最大尤度目的関数を導出する（式 (3)）。
• CGP を対象とする連続時間の未測定交絡なし（NUC）と非情報的測定時間の仮定を課して、CGP をターゲットとなる反事実に結びつける（仮定3と4）。
• 観測トレースの尤度を最大化して CGP のパラメータを推定し、その後 CGP を用いて意思決定支援タスクの反事実軌道 Y[s][a] を予測する。

実験結果

リサーチクエスチョン

• RQ1 反事実ベースの学習は、訓練データを収集するために使用された行動ポリシーに対して頑健な予測をもたらすのか？
• RQ2 連続時間で将来の行動列に対する反事実軌道をどのように信頼性高く予測できるか？
• RQ3 ポリシー駆動の観測を含む時系列データにおいて、反事実モデルは標準的な教師ありモデルよりもリスク評価をより信頼できるものにするのか？
• RQ4 CGP は医療データにおける個別化治療計画の“what-if”推論を支援できるのか？
• RQ5 観測トレースから学習した CGP を真の反事実モデルへ結びつけるためにどのような仮定が必要か？

主な発見

ベースラインGP A	CGP A	ベースラインGP B	CGP B	ベースラインGP C	CGP C
0.000	0.000	0.083	0.001	0.162	0.128
1.000	1.000	0.857	0.998	0.640	0.562
0.853	0.872	0.832	0.872	0.806	0.829

• CGP は訓練データのポリシーに依存しないリスク予測を生み出し、ベースラインGPモデルがポリシーにより変動するのと対照的である。
• シミュレーションデータでは、CGP のリスクスコアはコア仮定を満たす枠組み間でほぼ同じ順位付けとAUCを示し、ベースラインGPはそうでなかった。
• コア仮定（連続時間NUC、非情報的測定時間）の違反は、CGP の安定性をベースラインモデルと同様に失わせる。
• ICUデータでは、CGP は透析治療がクレアチニンに与える影響について定性的な反事実推論を可能にし、予測MAEをベースラインより改善（24h: 0.39 対それ以上、24-48h: 0.62）。
• CGP はアウトカムモデルの混合GPとして治療効果とヘテロゲネイティをモデリングすることで恩恵を受ける。