[논문 리뷰] Estimation of Optimal Dynamic Treatment Assignment Rules under Policy Constraints

Shosei Sakaguchi|arXiv (Cornell University)|2021. 06. 09.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 실험적 또는 준실험적 연구에서의 패널 데이터를 사용하여 정책 제약 조건 하에서 최적의 동적 치료 규칙을 추정하기 위한 동적 실증 복지 최대화(DEWM) 프레임워크를 제안한다. 두 가지 추정 방법—역방향 최적화와 동시 최적화—를 도입하여 $n^{-1/2}$-최소자승 수렴 속도와 유한 표본 복지-회귀 한계를 달성하며, 시간에 따른 예산 및 용량 제약 조건으로의 확장도 가능하다.

ABSTRACT

Many policies involve dynamics in their treatment assignments, where individuals receive sequential interventions over multiple stages. We study estimation of an optimal dynamic treatment regime that guides the optimal treatment assignment for each individual at each stage based on their history. We propose an empirical welfare maximization approach in this dynamic framework, which estimates the optimal dynamic treatment regime using data from an experimental or quasi-experimental study while satisfying exogenous constraints on policies. The paper proposes two estimation methods: one solves the treatment assignment problem sequentially through backward induction, and the other solves the entire problem simultaneously across all stages. We establish finite-sample upper bounds on worst-case average welfare regrets for these methods and show their optimal $n^{-1/2}$ convergence rates. We also modify the simultaneous estimation method to accommodate intertemporal budget/capacity constraints.

연구 동기 및 목표

• 순차적 의사결정 맥락에서 최적의 동적 치료 배정 규칙을 추정하기 위한 통계적 프레임워크를 개발하는 것.
• 동적 환경에서 과거 치료, 결과 및 공변량에 따라 달라지는 이질적 치료 효과를 다루는 데 도전하는 것.
• 해석 가능성, 공정성 또는 예산 제한과 같은 외생 정책 제약 조건을 동적 치료 제도 추정에 통합하는 것.
• 제안된 추정 방법에 대해 유한 표본 복지-회귀 한계와 최소자승 수렴 속도를 확립하는 것.
• 패널 데이터를 활용한 다단계 치료 문제에 대해 실증 복지 최대화(EWM) 방법을 동적, 다단계 문제로 확장하는 것.

제안 방법

• 사전에 정의된 타당한 동적 치료 규칙(DTR)의 클래스 위에서 실증 복지를 최대화하는 동적 실증 복지 최대화(DEWM) 방법을 사용한다.
• 두 가지 추정 전략을 제안한다: 역방향 최적화는 최종 단계에서부터 첫 번째 단계까지 단계별로 치료 선택 문제를 해결하고, 동시 최적화는 모든 단계에서 동시에 전체 DTR 추정 문제를 해결한다.
• 실험적 및 관찰적 데이터에서 치료 배정 메커니즘을 고려하기 위해 실증 복지 목표에 의사결정 확률 점수 가중 결과를 사용한다.
• DTR 추정 문제를 혼합정수선형계획문제(MILP)로 표현하여 선형 자격 요건 제약 조건 하에서 표준 최적화 솔버를 통해 계산이 가능하게 한다.
• 시작/정지 시점 또는 일회성 치료 규칙과 같은 정책 제약 조건을 MILP 수식에 선형 제약 조건을 추가함으로써 통합한다.
• 시간에 따른 예산 또는 용량 제약 조건을 동시에 DEWM 방법에 확장하기 위해 MILP에 추가 선형 제약 조건을 도입하여 자원 한도를 지키도록 보장한다.

실험 결과

연구 질문

• RQ1 순차적이고 이질적인 치료 효과 및 관측된 공변량이 존재하는 맥락에서 최적의 동적 치료 규칙은 어떻게 추정할 수 있는가?
• RQ2 정책 제약 조건 하에서 동적 치료 규칙 추정에 대해 유한 표본 성능 보장—특히 복지-회귀 한계—는 무엇인가?
• RQ3 역방향 최적화와 동시 최적화 방법은 통계적 효율성과 계산 가능성 측면에서 어떻게 비교되는가?
• RQ4 DEWM 프레임워크는 예산 제한 또는 치료 기간 제한과 같은 실제 정책 제약 조건을 어떻게 통합할 수 있는가?
• RQ5 정규 조건 하에서 제안된 추정기의 최소자승 수렴 속도는 무엇인가?

주요 결과

• 제안된 DEWM 방법은 표준 정규 조건 하에서 $n^{-1/2}$-최소자승 수렴 속도를 달성하여 최적의 통계적 효율성을 나타낸다.
• 최악의 평균 복지 회귀에 대한 유한 표본 상한 한계가 유도되어 추정된 DTR의 성능에 대한 이론적 보장을 제공한다.
• 역방향 최적화 방법은 미래 치료 효과를 고려하는 재귀적 해결 경로를 제공하여 장기적 복지 최적화를 향상시킨다.
• 동시 추정 방법은 모든 단계에서의 최적화를 통합함으로써 서로 다른 시간대에서의 치료 결정 간의 복잡한 상호작용을 포착한다.
• MILP 수식은 시작/정지 시점 및 일회성 치료 규칙을 포함한 다양한 정책 제약 조건 하에서 최적의 DTR를 효율적으로 계산할 수 있게 한다.
• 동시 DEWM 프레임워크에 예산 또는 용량 제약 조건을 추가 선형 제약 조건을 통해 통합함으로써 계산 가능성을 유지한다.