[論文レビュー] Counterfactual Predictions under Runtime Confounding.

Amanda Coston, Edward H. Kennedy+1 more|arXiv (Cornell University)|Jan 1, 2020

Criminal Justice and Corrections Analysis被引用数 3

ひとこと要約

本論文は、実行時交絡要因下での反事後的予測のための二重に頑健な手法を提案する—特定の交絡要因が測定されているが、倫理的または実務上の制約により予測モデルから除外される状況である。この手法は、観測データを活用して正確な反事後的予測を学習しつつ、モデルの誤指定に対しても頑健性を保ち、理論的および実験的に既存の手法を上回る性能を示す。

ABSTRACT

Algorithms are commonly used to predict outcomes under a particular decision or intervention, such as predicting whether an offender will succeed on parole if placed under minimal supervision. Generally, to learn such counterfactual prediction models from observational data on historical decisions and corresponding outcomes, one must measure all factors that jointly affect the outcomes and the decision taken. Motivated by decision support applications, we study the counterfactual prediction task in the setting where all relevant factors are captured in the historical data, but it is either undesirable or impermissible to use some such factors in the prediction model. We refer to this setting as runtime confounding. We propose a doubly-robust procedure for learning counterfactual prediction models in this setting. Our theoretical analysis and experimental results suggest that our method often outperforms competing approaches. We also present a validation procedure for evaluating the performance of counterfactual prediction methods.

研究の動機と目的

• 倫理的または運用上の制約により、測定されているが予測モデルから除外される交絡要因が存在する状況における反事後的予測を扱う。
• 出結果モデルまたは適合度モデルの一方が誤指定であっても、正確な推定を維持する手法を開発する。これにより、実世界の応用における頑健性を確保する。
• 実行時交絡要因が存在する状況下での反事後的予測手法の評価を可能にする検証手順を提供する。
• 観測データに基づく反事後的予測に依存する意思決定支援システムの信頼性と性能を向上させる。

提案手法

• 本手法は、結果の回帰と適合度スコアモデルを組み合わせた二重に頑健な推定フレームワークを用いて、反事後的結果を推定する。
• 意思決定と結果に関する観測データ（すべての交絡要因を含む）を活用するが、実行時において特定の交絡要因を予測モデルから除外する。
• 逆確率重み付けと補正項を含む結果の回帰を用いて、除外された交絡要因に起因するバイアスを低減する。
• 残差分析とキャリブレーションに基づく検証手順を組み込み、モデルの性能を評価する。
• 本手法は、半パラメトリック効率性および二重に頑健性の性質に基づく理論的基盤を有する。

実験結果

リサーチクエスチョン

• RQ1 特定の交絡変数が歴史的データでは測定されているが、予測モデルから除外される状況において、反事後的予測を信頼性高く学習する方法は何か？
• RQ2 実行時交絡要因が存在する状況下で、モデルの誤指定に対して頑健性を確保する推定戦略は何か？
• RQ3 実行時交絡要因が存在する状況下で、反事後的予測モデルの性能をどのように検証できるか？
• RQ4 提案手法は、予測精度および頑健性の観点から、既存の手法をどの程度上回るか？

主な発見

• 提案された二重に頑健な手法は、合成データおよび実世界の実験設定の両方で、競合手法を一貫して上回る性能を示した。
• 結果モデルまたは適合度モデルの一方が誤指定であっても、本手法は低バイアスと高い精度を維持した。
• 検証手順は、モデル性能の低下を効果的に検出でき、反事後的予測の信頼性ある評価を支援した。
• 実証的結果は、実行時交絡要因下でも、反事後的結果推定におけるキャリブレーションと識別能の向上を示した。