[논문 리뷰] Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning

Susan Athey, Undral Byambadalai외 4명|arXiv (Cornell University)|2022. 11. 22.

Advanced Bandit Algorithms Research인용 수 7

한 줄 요약

이 논문은 정책 학습을 향상시키기 위해 치료 할당 확률의 감쇠 속도를 늦추고 정책 학습을 잘 수집된 암호에 국한시키는 히우리스틱을 제안한다. 이는 누적 회귀가 더 높음에도 불구하고 표준 밴딧 알고리즘보다 균일한 랜덤화가 정책 학습에서 더 우수함을 보여주며, 기부 기부 실험에서 중간 크기의 설문 조사 실험에서 오프-정책 평가 정확도를 향상시킨다.

ABSTRACT

We design and implement an adaptive experiment (a ``contextual bandit'') to learn a targeted treatment assignment policy, where the goal is to use a participant's survey responses to determine which charity to expose them to in a donation solicitation. The design balances two competing objectives: optimizing the outcomes for the subjects in the experiment (``cumulative regret minimization'') and gathering data that will be most useful for policy learning, that is, for learning an assignment rule that will maximize welfare if used after the experiment (``simple regret minimization''). We evaluate alternative experimental designs by collecting pilot data and then conducting a simulation study. Next, we implement our selected algorithm. Finally, we perform a second simulation study anchored to the collected data that evaluates the benefits of the algorithm we chose. Our first result is that the value of a learned policy in this setting is higher when data is collected via a uniform randomization rather than collected adaptively using standard cumulative regret minimization or policy learning algorithms. We propose a simple heuristic for adaptive experimentation that improves upon uniform randomization from the perspective of policy learning at the expense of increasing cumulative regret relative to alternative bandit algorithms. The heuristic modifies an existing contextual bandit algorithm by (i) imposing a lower bound on assignment probabilities that decay slowly so that no arm is discarded too quickly, and (ii) after adaptively collecting data, restricting policy learning to select from arms where sufficient data has been gathered.

연구 동기 및 목표

• 적응형 실험 동안 누적 회귀를 최소화하는 것과 후속 정책 학습을 위한 데이터 품질을 극대화하는 것 사이의 상충 관계를 해결하기 위해.
• 컨텍스트 밴딧를 통한 적응형 데이터 수집이 치료 할당의 불균형과 조기 암호 기각으로 인해 정책 학습을 약화시키는지 평가하기 위해.
• 참가자 복지를 너무 희생시키지 않으면서도 정책 학습을 향상시키는 실용적인 히우리스틱을 설계하기 위해.
• 개인화된 기부 요청을 포함한 실제 세계의 설문 조사 실험에서 방법을 테스트하기 위해.
• 현실적인 실험 환경에서 적응형 대비 균일한 랜덤화를 통한 데이터 수집에서 학습된 정책의 가치를 비교하기 위해.

제안 방법

• 저자는 치료 할당 확률에 느리게 감쇠하는 하한선을 부여하여 암호의 조기 기각을 방지하는 수정된 컨텍스트 밴딧 알고리즘을 제안한다.
• 적응형 데이터 수집 이후, 충분한 노출을 받은 암호에 한해 정책 학습을 제한함으로써 추정 안정성을 향상시킨다.
• 참가자 설문 특성에 기반해 치료 할당을 안내하기 위해 트리 기반 앙상블 모델(트리백킹)을 사용한다.
• 다양한 데이터 이질성과 표본 크기에서 대안적 밴딧 알고리즘(예: 부트스트랩스 씰링, 부트스트랩ES, 부트스트랩TTTS)을 평가하기 위해 시뮬레이션 연구를 수행한다.
• 실제 프리라이트 데이터를 기반으로 균일한 랜덤화와 적응형 밴딧 알고리즘의 데이터를 사용해 정책 성능을 비교한다.
• 최종 평가에서는 제안된 히우리스틱에 따른 학습된 정책의 가치를 기준 방법 대비 평가하기 위해 두 번째 시뮬레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 표준 컨텍스트 밴딧를 통한 적응형 데이터 수집이 치료 할당의 불균형으로 인해 정책 학습 정확도를 저하시키는가?
• RQ2 누적 회귀가 증가하더라도, 단순한 히우리스틱이 적응형으로 수집된 데이터를 사용할 때 정책 학습 성능을 향상시킬 수 있는가?
• RQ3 중간 크기의 실험에서, 개인화된 치료 할당 정책을 학습하기 위해 균일한 랜덤화가 적응형 밴딧 방법보다 우수한가?
• RQ4 적응형 실험에서 데이터 이질성과 표본 크기에 따라 정책 학습 성능은 어떻게 변하는가?
• RQ5 충분히 노출된 암호에 한해 정책 학습을 제한함으로써 오프-정책 평가 정확도는 얼마나 향상되는가?

주요 결과

• 균일한 랜덤화는 표준 컨텍스트 밴딧 알고리즘보다 정책 가치가 유의미하게 높은 정책을 생성했으며, 모든 정규화 수준에서 평균 79%의 정책 가치 향상을 기록했다.
• 할당 확률의 천천간 감쇠와 선택적 정책 학습을 조합한 제안된 히우리스틱은 표준 밴딧보다 정책 학습 성능을 향상시켰으며, 누적 회귀는 다소 증가에 그쳤다.
• 트리백킹(50)은 균일한 랜덤화 대비 단위 기간 회귀를 78.5%에서 79.7%까지 감소시켜, 회귀 최소화에서 뛰어난 성능을 보였다.
• 개인화된 타겟팅에도 불구하고, 최적의 정책은 대부분의 참가자에게 그린피스를 선택했고 특정 하위군에는 더 극단적인 기부 단체를 선택하여 선호의 의미 있는 이질성을 보였다.
• 균일한 랜덤화를 통한 데이터 수집에서 정책 학습의 가치가 항상 더 높았으며, 이는 중간 크기의 실험에서 적응형 알고리즘이 정책 평가에 악영향을 줄 수 있음을 시사한다.
• 결과는 표준 적응형 알고리즘이 효과적인 암호를 너무 이른 시기에 기각할 위험이 있으며, 이는 오프-정책 평가의 신뢰성에 악영향을 줄 수 있음을 나타낸다.