[論文レビュー] Machine Learning Who to Nudge: Causal vs Predictive Targeting in a Field Experiment on Student Financial Aid Renewal

Susan Athey, Niall Keleher+1 more|arXiv (Cornell University)|Oct 12, 2023

Advanced Causal Inference Techniques被引用数 8

ひとこと要約

この論文は因果ターゲティング（CATEベース）と予測ターゲティングを FAFSA 更新時の nudges で比較し、予測と因果効果を組み合わせたハイブリッドモデルが最も良く、途中のベースライン結果が最大の政策効果を生むことを示しています。

ABSTRACT

In many settings, interventions may be more effective for some individuals than others, so that targeting interventions may be beneficial. We analyze the value of targeting in the context of a large-scale field experiment with over 53,000 college students, where the goal was to use "nudges" to encourage students to renew their financial-aid applications before a non-binding deadline. We begin with baseline approaches to targeting. First, we target based on a causal forest that estimates heterogeneous treatment effects and then assigns students to treatment according to those estimated to have the highest treatment effects. Next, we evaluate two alternative targeting policies, one targeting students with low predicted probability of renewing financial aid in the absence of the treatment, the other targeting those with high probability. The predicted baseline outcome is not the ideal criterion for targeting, nor is it a priori clear whether to prioritize low, high, or intermediate predicted probability. Nonetheless, targeting on low baseline outcomes is common in practice, for example because the relationship between individual characteristics and treatment effects is often difficult or impossible to estimate with historical data. We propose hybrid approaches that incorporate the strengths of both predictive approaches (accurate estimation) and causal approaches (correct criterion); we show that targeting intermediate baseline outcomes is most effective in our specific application, while targeting based on low baseline outcomes is detrimental. In one year of the experiment, nudging all students improved early filing by an average of 6.4 percentage points over a baseline average of 37% filing, and we estimate that targeting half of the students using our preferred policy attains around 75% of this benefit.

研究の動機と目的

• FAFSA 申請における nudges 効果のヘテロ性を測定する。
• 推定処置効果に基づくターゲティング政策とベースライン予測スコアに基づく比較を評価する。
• 予測と因果推論を統合したハイブリッド手法の政策ターゲティングを評価する。
• 予算制約下で政策効果を最大化するためのターゲティング時期と方法の指針を提供する。

提案手法

• 53,000人以上の学生を対象とした2つの大規模ランダム化対照試験（2017年と2018年）のデータを分析。
• 因果フォレスト（一般化ランダムフォレスト）を用いて条件付き平均処置効果（CATE）を推定。
• 前期（学期前）と後期の共変量を使用；反実仮想重み付け（IPW）および拡張反実仮想重み付け（AIPW）を適用。
• 交差適合とChernozhukovら（2019）の診断を用いたCATE推定の校正を評価；グループ推定のバイアスを避けるためにSorted Group Average Treatment Effects（GATES）を使用。
• 閾値を超える tau(x) を有する個人に処置を割り当てることでターゲティング政策を評価し、ベースライン申請確率に基づく予測モデルと比較する。
• 予測されたベースライン成果と非パラメトリックCATE推定を組み合わせたハイブリッドモデルを開発・比較する。

実験結果

リサーチクエスチョン

• RQ1 Nudges は学生間で異質な効果を示すか、どの共変量がこの異質性を促進するか？
• RQ2 推定された処置効果に基づく因果ターゲティング政策は、ベースライン申請確率に基づく予測ターゲティング政策と比べてどう機能するか？
• RQ3 予測と因果推定を組み合わせたハイブリッド手法はターゲティング性能を改善するか？
• RQ4 リマインダーとターゲティング決定の効果に影響を与える入学状況やステータス要因は何か？

主な発見

• Nudges は2017年に早期の FAFSA 申請を6.4ポイント、2018年に12.1ポイント増加させた（基礎申請率はそれぞれ37%、38%）。
• 入学状況は処置効果を高度に予測する要因であり、入学生の間で追加の異質性が存在する。
• ベースライン予測成果と非パラメトリックCATE推定を組み合わせたハイブリッドモデルは、純粋な非パラメトリックモデルおよび純粋な予測ターゲティングよりも優れている。
• 中間の予測ベースライン成果に基づくターゲティングは、最低ベースライン成果群や最高ベースライン成果群をターゲティングするより大きな効果を生む。一方、最低ベースライン成果をターゲティングするのは効果が乏しく、最高をターゲティングしても必ずしも最適とは限らない。
• 純粋な予測ターゲティングは因果ターゲティングを下回る場合があり、政策ターゲティングには因果推論と機械学習の統合の価値が強調される。