[논문 리뷰] Learning to Personalize Treatments When Agents Are Strategic.

Evan Munro|arXiv (Cornell University)|2020. 11. 12.

Advanced Causal Inference Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 관측된 공변량이 치료 규칙에 내생적일 경우의 전략적 행동을 고려한 동적 실험을 제안하며, 개인의 인centives에 대한 파rametric 가정 없이 선형적 회귀 감소를 달성한다. 관측된 공변량이 치료 규칙에 내생적일 경우 표준 위험 최소화보다 우수한 성능을 보인다.

ABSTRACT

There is increasing interest in allocating treatments based on observed individual data: examples include heterogeneous pricing, individualized credit offers, and targeted social programs. Policy targeting introduces incentives for individuals to modify their behavior to obtain a better treatment. We show standard risk minimization-based estimators are sub-optimal when observed covariates are endogenous to the treatment allocation rule. We propose a dynamic experiment that converges to the optimal treatment allocation function without parametric assumptions on individual strategic behavior, and prove that it has regret that decays at a linear rate. We validate the method in simulations and in a small MTurk experiment.

연구 동기 및 목표

• 관측된 공변량이 치료 규칙에 내생적일 경우 표준 위험 최소화의 비최적성 문제를 해결하기 위해.
• 개인이 전략적으로 행동함에도 불구하고 최적의 치료 배정 함수로 수렴하는 방법을 개발하기 위해.
• 제안된 방법이 선형 속도로 회귀가 감소함을 증명하여 시간이 지남에 따라 효율적인 학습을 보장하기 위해.
• 시뮬레이션과 소규모 MTurk 실험을 통해 접근 방식을 검증하기 위해.

제안 방법

• 이 방법은 관측된 결과와 개인의 반응에 기반해 반복적으로 치료 배정을 조정하는 동적 실험을 사용한다.
• 비모수적 추정을 통해 전략적 행동의 특정 기능 형태를 가정하지 않고 최적의 치료 함수를 학습한다.
• 순차적 실험을 통해 공변량의 내생성 문제를 고려함으로써 최적의 치료 정책으로 수렴하도록 알고리즘을 설계한다.
• 전략적 반응에 적응하는 방식으로 탐색과 이용의 균형을 맞추어 회귀를 최소화한다.
• 개인의 인센티브를 파arametric 모델링할 필요 없이, 내생성 보정을 적용한 경험적 위험 최소화에 의존한다.
• 이론적 분석을 통해 회귀가 선형 속도로 감소함을 증명하며, 이는 최적의 배정으로의 빠른 수렴을 의미한다.

실험 결과

연구 질문

• RQ1 관측된 공변량에서의 전략적 행동이 개인화된 치료 배정에서 표준 위험 최소화의 성능에 어떤 영향을 미치는가?
• RQ2 개인의 전략적 반응에 대한 파arametric 모델을 가정하지 않고도 동적 실험이 최적의 치료 배정 함수로 수렴할 수 있는가?
• RQ3 내생적 공변량을 고려한 학습 알고리즘의 회귀 감소 속도는 얼마인가?
• RQ4 전략적 개인이 존재하는 환경에서 제안된 방법이 표준 추정기와 어떻게 비교되는가?
• RQ5 이 방법은 시뮬레이션과 실제 실험 환경 모두에서 얼마나 잘 검증될 수 있는가?

주요 결과

• 제안된 동적 실험은 선형 속도로 회귀가 감소하여 최적의 치료 정책으로의 신속한 수렴을 보였다.
• 관측된 공변량이 치료 규칙에 내생적일 경우 전략적 조작으로 인해 표준 위험 최소화 기반 추정기는 비최적임을 확인하였다.
• 개인의 전략적 행동에 대한 파arametric 가정 없이도 최적의 치료 배정 함수로 수렴함을 입증하였다.
• 시뮬레이션 결과는 전략적 행동 하에서 기준 방법 대비 제안된 방법의 뛰어난 성능을 확인하였다.
• 소규모 MTurk 실험을 통해 실제 환경에서의 방법의 효과성에 대한 실증적 검증을 제공하였다.