[論文レビュー] Algorithmic Decision Making in the Presence of Unmeasured Confounding

Jongbin Jung, Ravi Shroff+2 more|arXiv (Cornell University)|May 4, 2018

Advanced Causal Inference Techniques参考文献 33被引用数 14

ひとこと要約

本稿では、測定されない交絡要因が存在する状況下でも、アルゴリズム的意思決定方針の評価が可能となる柔軟なベイジアン感受性分析フレームワークを提案する。無視可能性が成り立たない状況でも、ロバストな方針評価とほぼ最適な方針構築が可能である。これは、異質的処置効果推定を一般化し、合成および実際の司法保釈データセットで優れた性能を示しており、古典的手法を上回り、測定されない交絡要因が存在してもリスクランク付けの正確性が保たれることを示している。

ABSTRACT

On a variety of complex decision-making tasks, from doctors prescribing treatment to judges setting bail, machine learning algorithms have been shown to outperform expert human judgments. One complication, however, is that it is often difficult to anticipate the effects of algorithmic policies prior to deployment, making the decision to adopt them risky. In particular, one generally cannot use historical data to directly observe what would have happened had the actions recommended by the algorithm been taken. One standard strategy is to model potential outcomes for alternative decisions assuming that there are no unmeasured confounders (i.e., to assume ignorability). But if this ignorability assumption is violated, the predicted and actual effects of an algorithmic policy can diverge sharply. In this paper we present a flexible, Bayesian approach to gauge the sensitivity of predicted policy outcomes to unmeasured confounders. We show that this policy evaluation problem is a generalization of estimating heterogeneous treatment effects in observational studies, and so our methods can immediately be applied to that setting. Finally, we show, both theoretically and empirically, that under certain conditions it is possible to construct near-optimal algorithmic policies even when ignorability is violated. We demonstrate the efficacy of our methods on a large dataset of judicial actions, in which one must decide whether defendants awaiting trial should be required to pay bail or can be released without payment.

研究の動機と目的

• 観察データにおける反事後的結果推定に測定されない交絡要因がバイアスをもたらす状況下で、アルゴリズム的方針の評価をどう行うかという課題に取り組む。
• 明示的な感受性パラメータを必要とせず、測定されない交絡要因への政策結果の感受性を定量化する柔軟でベイジアンなアプローチを開発する。
• 無視可能性が破綻している状況でも、正確なリスクランク付けに焦点を当てることで、ほぼ最適な意思決定方針を構築できることを示す。
• 観察研究における異質的処置効果推定への一般化を図り、政策評価を超えた応用可能性を拡張する。
• 大規模な合成司法保釈意思決定データセットを用いた実証的検証を通じて、測定されない交絡要因に対してロバストであることを示す。

提案手法

• 弱い情報性のある事前分布と表現力のあるデータ生成プロセスを用いて、潜在的結果と測定されない交絡要因の両方を同時に推定するベイジアン階層モデルを採用する。
• 解析的計算が困難な場合を避けるために、ブラックボックス型ベイジアン推論（例：変分ベイズ）を用いて事後分布を計算する。
• 処置割り当てと潜在的結果を同時にモデル化することで、妥当な測定されない交絡要因構造に対する感受性分析が可能になる。
• 適切な尤度関数とリンク関数を指定することにより、連続的、二値的、多項的処置および結果に対しても一般化可能である。
• 測定されない交絡要因効果に関する事前分布を用いて感受性を定量化し、固定された感受性パラメータを必要とせずにドメイン知識を組み込む。
• 事後予測分布を用いて、異なる意思決定ルールのもとでの反事後的結果をシミュレートすることで、オフライン方針評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 無視可能性を仮定せず、測定されない交絡要因が存在する状況下でも、アルゴリズム的方針の効果を評価することは可能か？
• RQ2 無視可能性が破綻している状況で、ほぼ最適な意思決定ルールをどの程度まで構築できるか？
• RQ3 本稿で提案するベイジアン感受性分析は、古典的手法（非ベイジアン）と比較して、正確性およびロバスト性の面でどのように異なるか？
• RQ4 政策構築に不可欠なリスクランク付けは、測定されない交絡要因によって真のリスク推定がバイアスを受けても、依然として正確に保たれるか？
• RQ5 本手法は、観察研究における異質的処置効果推定にも一般化可能か？

主な発見

• 合成データセットにおいて測定されない交絡要因が存在する状況下でも、本手法は真の政策効果およびサブグループレベルの処置効果を正確に回復し、古典的手法（非ベイジアン）を上回る性能を示した。
• 全テスト条件下で、完全な反事後的知識が得られない状況下でも、観測された結果からのみ構築された方針は、真の潜在的結果に基づく最適方針とほぼ同一であった。これは、測定されない交絡要因に対してもロバストであることを示している。
• 無視可能性が破綻している状況でも、本手法はほぼ最適な意思決定ルールを成功裏に回復した。これは、正確なリスク推定がなくても、リスクランク付けの正確性が達成可能であることを示している。
• 平均処置効果推定に特化した最先端手法を用いた場合の特殊ケース（ATE）に適用した際、本手法はそれらを上回った。
• 弱い情報性のある事前分布と柔軟なモデル形式の組み合わせにより、事前知識と不確実性のバランスが取れ、明示的な感受性パrameterの指定が不要になった。
• ブラックボックス推論の導入により、連続的または多項的などの複雑な処置・結果タイプに対しても、最小限のモデリングコストで一般化可能である。