[論文レビュー] Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding

Ashesh Rambachan, Amanda Coston+1 more|arXiv (Cornell University)|Dec 19, 2022

Financial Distress and Bankruptcy Prediction被引用数 4

ひとこと要約

本稿では、観察されない交絡要因が存在する選択的に観察されたデータにおける予測アルゴリズムの設計および評価のための頑健なフレームワークを提案する。このフレームワークは、柔軟で共変量に依存する潜在的アウトカム差の境界を用いる。性能指標（平均二乗誤差、正解率、偽陽性率など）の境界を推定するためのバイアス補正付き機械学習推定量を構築し、強いパラメトリック仮定を必要とせずに、未測定の交絡要因を考慮した感度分析を可能にする。

ABSTRACT

Predictive algorithms inform consequential decisions in settings with selective labels: outcomes are observed only for units selected by past decision makers. This creates an identification problem under unobserved confounding -- when selected and unselected units differ in unobserved ways that affect outcomes. We propose a framework for robust design and evaluation of predictive algorithms that bounds how much outcomes may differ between selected and unselected units with the same observed characteristics. These bounds formalize common empirical strategies including proxy outcomes and instrumental variables. Our estimators work across bounding strategies and performance measures such as conditional likelihoods, mean square error, and true/false positive rates. Using administrative data from a large Australian financial institution, we show that varying confounding assumptions substantially affects credit risk predictions and fairness evaluations across income groups.

研究の動機と目的

• 人為的意思決定によるアウトカムの選択的観察が生じる状況において、観察されない交絡要因が選択とアウトカムの両方に影響する場合の予測アルゴリズムの評価の課題に対処すること。
• 選択が交絡なしであると仮定する既存手法や、欠損データに対して直感的な補完戦略に依存する手法の限界を克服すること。
• 一般的な実証的手法（例：プロキシアウトカム、インスツルメンタル変数）を部分的同定の枠組みで形式化する包括的な同定フレームワークの構築。
• 観察されない交絡要因に関する不確実性を考慮した予測性能指標（例：MSE、正解率、偽陽性率）の頑健な評価を可能にすること。
• 研究者が観察されない交絡要因に関する異なる妥当な仮定の下で結論がどのように変化するかを評価できる感度分析フレームワークの提供。

提案手法

• 観察された共変量と同定されたノイズパラメータの下で、選択済みと未選択ユニット間の平均潜在的アウトカム差を境界化することで、同定仮定を形式化する。
• 潜在的アウトカム差の平均値に関する一般クラスの制約を用い、従来の感度分析手法を共変量に条件づけたものに拡張する。
• 予測性能推定量の境界を推定するためのバイアス補正付き機械学習推定量を開発し、漸近正規性を保証し、有効な推論を可能にする。
• 機械学習手法を用いて、柔軟な非パラメトリック推定（例：選択確率、アウトカム回帰）によるノイズ関数の推定を統合する。
• 二重推定量（double/debiased estimation）を適用して境界推定のバイアスを低減し、弱い正則性条件のもとで有効な信頼区間を構築可能にする。
• 識別された潜在的アウトカム差を用いて、平均二乗誤差、正解率、偽陽性率などの性能指標の境界を構築する。

実験結果

リサーチクエスチョン

• RQ1 観察されない交絡要因が存在する中で、選択されたユニットにのみアウトカムが観察される場合、予測アルゴリズムをどのようにして頑健に評価できるか？
• RQ2 信用スコアリングにおけるデフォルトリスク予測と公平性指標に、観察されない交絡要因に関する異なる仮定が与える影響は何か？
• RQ3 部分的同定に基づく選択的観察データから、MSE や正解率といった性能指標を一元的に境界化するフレームワークを構築できるか？
• RQ4 共変量に依存する境界は、無条件の境界と比較して、性能評価の精度と解釈可能性をどのように向上させるか？
• RQ5 標準的な補完戦略（例：プロキシアウトカム、インスツルメンタル変数）は、形式的な部分的同定フレームワークにどの程度適合するか？

主な発見

• 提案手法は、同定仮定に観察された共変量を柔軟に組み込むことで、予測性能指標の情報豊かな境界を生成する。
• 境界の推定に用いられるバイアス補正付き機械学習推定量は、サンプルサイズが 500 から 2500 の範囲で、95% 信頼区間の実証的カバレッジ率が 93.4% から 95.0% の間で良好な有限サンプル性能を示す。
• オーストラリアの金融データセットにおいて、観察されない交絡要因に関する仮定を変更したところ、デフォルトリスク予測と感受性グループ間のスコア評価の不平等性に有意義な変化が生じた。
• このフレームワークは、観察されない交絡要因に関する異なる妥当な仮定の下で結論がどのように変化するかを体系的に探る感度分析を可能にする。
• 本手法は、プロキシアウトカムやインスツルメンタル変数といった一般的な実証的手法を、一貫性のある部分的同定フレームワーク内で一般化・形式化する。
• 選択が条件付きに交絡なしでない場合でも、予測アルゴリズムの頑健な評価を可能にし、強い無視可能性仮定の代替として実用的である。