[논문 리뷰] Machine Learning Who to Nudge: Causal vs Predictive Targeting in a Field Experiment on Student Financial Aid Renewal

Susan Athey, Niall Keleher외 1명|arXiv (Cornell University)|2023. 10. 12.

Advanced Causal Inference Techniques인용 수 8

한 줄 요약

본 논문은 FAFSA 갱신에서 인과 타깃팅(CATE 기반)과 예측 타깃팅을 비교하고, 예측과 인과 효과를 결합한 하이브리드 모델이 가장 우수하며, 중간 수준의 기초 결과가 가장 큰 정책 이득을 가져온다는 점을 보여준다.

ABSTRACT

In many settings, interventions may be more effective for some individuals than others, so that targeting interventions may be beneficial. We analyze the value of targeting in the context of a large-scale field experiment with over 53,000 college students, where the goal was to use "nudges" to encourage students to renew their financial-aid applications before a non-binding deadline. We begin with baseline approaches to targeting. First, we target based on a causal forest that estimates heterogeneous treatment effects and then assigns students to treatment according to those estimated to have the highest treatment effects. Next, we evaluate two alternative targeting policies, one targeting students with low predicted probability of renewing financial aid in the absence of the treatment, the other targeting those with high probability. The predicted baseline outcome is not the ideal criterion for targeting, nor is it a priori clear whether to prioritize low, high, or intermediate predicted probability. Nonetheless, targeting on low baseline outcomes is common in practice, for example because the relationship between individual characteristics and treatment effects is often difficult or impossible to estimate with historical data. We propose hybrid approaches that incorporate the strengths of both predictive approaches (accurate estimation) and causal approaches (correct criterion); we show that targeting intermediate baseline outcomes is most effective in our specific application, while targeting based on low baseline outcomes is detrimental. In one year of the experiment, nudging all students improved early filing by an average of 6.4 percentage points over a baseline average of 37% filing, and we estimate that targeting half of the students using our preferred policy attains around 75% of this benefit.

연구 동기 및 목표

• FAFSA 제출에서 개입 효과의 이질성을 측정한다.
• 추정된 처리효과를 기반으로 한 타깃팅 정책과 기초 예측 점수를 기반으로 한 타깃팅 정책을 평가한다.
• 예측과 인과 추론을 결합한 정책 타깃팅의 하이브리드 접근법을 평가한다.
• 예산 제약 아래 정책 효과를 극대화하기 위해 언제 어떻게 타깃팅할지에 대한 지침을 제공한다.

제안 방법

• 53,000명 이상 학생을 대상으로 하는 두 대규모 무작위 대조시험(2017년 및 2018년)의 데이터를 분석한다.
• 인과 숲(일반화된 랜덤 숲)을 사용하여 조건부 평균 처리효과(CATEs)를 추정한다.
• 초기(학기 전) 및 말기 공변량을 사용하고 역확률가중치와 보강된 역원가중치(AIPW)를 적용한다.
• 교차적합과 Chernozhukov et al. (2019) 진단을 통해 CATE 추정의 보정/calibration을 평가하고, 정렬된 그룹 평균 처리효과(GATES)를 사용하여 편향 없는 그룹 추정을 얻는다.
• tau(x)가 임계치를 초과하는 개인에게 처치를 할당하는 방식으로 타깃팅 정책을 평가하고, 기초 제출 확률에 기반한 예측 모델과 비교한다.
• 예측된 기초 결과를 비모수적 CATE 추정치와 결합한 하이브리드 모델을 개발하고 비교한다.

실험 결과

연구 질문

• RQ1 개입은 학생 간에 이질적 효과를 보이고 어떤 공변량이 이 이질성을 유발하는가?
• RQ2 추정된 처리효과를 기반으로 한 인과 타깃팅 정책이 기초 제출 확률에 기반한 예측 타깃팅 정책에 비해 어떤 성능을 보이는가?
• RQ3 예측과 인과 추정치를 결합한 하이브리드 접근법이 타깃팅 성능을 향상시키는가?
• RQ4 등록 상태 등의 요인이 알림 및 타깃팅 결정의 효과에 어떤 영향을 미치는가?

주요 결과

• 개입은 2017년에 초기 FAFSA 제출을 6.4% 포인트 증가시켰고 2018년에는 12.1% 포인트 증가시켰다(기초 제출율은 각각 37%와 38%).
• 등록 상태가 처리효과 예측에 매우 강력하며, 등록된 학생들 사이에서 추가 이질성이 나타난다.
• 기초 예측 결과를 비모수적 CATE 추정치와 결합한 하이브리드 모델이 순수 비모수 모델과 순수 예측 타깃팅보다 우수하다.
• 중간 예측 기초 결과를 기반으로 한 타깃팅이 최저 또는 최고 기초 결과 그룹을 타깃팅하는 것보다 큰 이득을 얻는다; 최저 기초 결과를 타깃팅하는 것은 성과가 저조하고, 최고 기초 결과를 타깃팅하는 것은 효과적일 수 있지만 최적은 아니다.
• 순수 예측 타깃팅은 인과 타깃팅에 못 미칠 수 있으며, 정책 타깃팅을 위해 인과 추론과 기계학습의 통합 가치가 강조된다.