[논문 리뷰] Safe Policy Learning under Regression Discontinuity Designs with Multiple Cutoffs

Yi Zhang, Eli Ben‐Michael외 1명|arXiv (Cornell University)|2022. 08. 29.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 다중 캐스케이드를 갖는 회귀단절설계에서 안전한 정책 학습을 위한 강건 최적화 프레임워크를 제안한다. 하위집단 간의 부드러운 이질성을 활용하여 신뢰할 수 있는 외삽을 가능하게 하며, 학습된 치료 기준이 기존 상태와 비교해 전체 효용을 떨어뜨리지 않음을 보장한다. 이는 이중으로 강건한 추정과 부드러운 가정 하에 부분 식별을 통해 渐진적 오차 한계를 달성한다.

ABSTRACT

The regression discontinuity (RD) design is widely used for program evaluation with observational data. The primary focus of the existing literature has been the estimation of the local average treatment effect at the existing treatment cutoff. In contrast, we consider policy learning under the RD design. Because the treatment assignment mechanism is deterministic, learning better treatment cutoffs requires extrapolation. We develop a robust optimization approach to finding optimal treatment cutoffs that improve upon the existing ones. We first decompose the expected utility into point-identifiable and unidentifiable components. We then propose an efficient doubly-robust estimator for the identifiable parts. To account for the unidentifiable components, we leverage the existence of multiple cutoffs that are common under the RD design. Specifically, we assume that the heterogeneity in the conditional expectations of potential outcomes across different groups vary smoothly along the running variable. Under this assumption, we minimize the worst case utility loss relative to the status quo policy. The resulting new treatment cutoffs have a safety guarantee that they will not yield a worse overall outcome than the existing cutoffs. Finally, we establish the asymptotic regret bounds for the learned policy using semi-parametric efficiency theory. We apply the proposed methodology to empirical and simulated data sets.

연구 동기 및 목표

• 기존 방법이 고정된 기준에서 치료 효과 추정에 집중하는 바탕에, 다중 기준이 있는 회귀단절설계에서의 정책 학습에 대한 격차를 메우기 위해.
• 현재 정책을 초월해 외삽 가능한 개선된 치료 기준을 학습하는 방법을 개발하여 악화된 결과에 대한 안전성을 확보하기 위해.
• 실제 응용에서 흔히 나타나는 다중 하위집단 기준을 활용해, 결과 이질성의 부드러움 가정을 통해 신뢰할 수 있는 외삽을 가능하게 하기 위해.
• 부분 식별 조건 하에서도 새로운 정책이 기존 상태를 열등하게 만들지 않는 이론적 안전 보장을 제공하기 위해.
• 정규 조건 하에서 반응률 이론을 활용해 학습된 정책의 渐진적 오차 한계를 설정하기 위해.

제안 방법

• 다른 치료 규칙 하에서 잠재적 결과를 기반으로 기대 효용을 점식별 및 부분식별 성분으로 분해한다.
• 점식별 성분의 효용을 추정하기 위해 이중으로 강건한 추정기법을 제안하며, 결과 회귀 모델과 성향 스코어 모델을 결합한다.
• 실행 변수에 따른 그룹 간 조건부 잠재 결과의 차이에 대해 부드러움 가정을 도입하며, 외삽 영역에서는 기울기를 유한하게 제한한다.
• 기존 정책에 대한 최악의 효용 손실을 최소화하는 강건 최적화를 사용하여 안전 보장을 확보한다.
• 식별 불가능한 성분을 위한 모델 클래스를 부드러움 가정에서 유도된 경계 기반으로 설정하여 최악의 효용 평가를 가능하게 한다.
• 정규 조건 하에서 반응률 이론을 활용해 渐진적 오차 한계를 유도하며, 최적 정책 수렴 속도를 보여준다.

실험 결과

연구 질문

• RQ1 비편향성이나 강력한 무시 가능성 가정 없이도, 다중 기준이 있는 RD 설계에서 더 나은 치료 기준을 학습할 수 있는가?
• RQ2 외삽된 기준을 바탕으로 한 새로운 정책이 현재 정책보다 열등하게 작동하지 않도록 보장할 수 있는가?
• RQ3 다중 하위집단 기준은 RD 설계에서 신뢰할 수 있는 외삽을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 관측된 데이터를 초월한 외삽으로 인해 부분적으로 식별 불가능해지는 효용 성분은 어떻게 추정할 수 있는가?
• RQ5 제안된 안전한 정책 학습 방법의 이론적 수렴 속도(오차 한계)는 무엇인가?

주요 결과

• 제안된 방법은 학습된 정책이 기존 상태보다 전체 효용을 떨어뜨리지 않음을 보장하여 강건 최적화 하에 안전 보장을 제공한다.
• 이중으로 강건한 추정기법은 정규 조건 하에서 식별 가능한 효용 성분에 대해 루트-n 일관성을 달성한다.
• 최악의 효용 손실은 O_p(ρ_n^{-1}) 속도로 감소하는 항으로 유한하게 제한되며, 여기서 ρ_n은 외삽 영역의 표본 크기이다.
• 반응률 이론을 활용해 渐진적 오차 한계를 설정하였으며, 최적 정책 수렴을 보여준다.
• 부드러움 제약 조건으로 정의된 부분적으로 식별 가능한 모델 클래스에 대해 최악의 손실을 최소화함으로써 유한 표본 안전성을 확보한다.
• 콜롬비아의 ACCES 대출 프로그램에 대한 실증 적용 결과, 부서별로 학습된 기준을 사용해 전국적 등록 성과가 향상된 것으로 나타났다.