[논문 리뷰] Adaptive Experimental Design for Efficient Treatment Effect Estimation: Randomized Allocation via Contextual Bandit Algorithm.

Masahiro Kato, Takuya Ishihara외 2명|arXiv (Cornell University)|2020. 02. 13.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 평균 치료 효과(Average Treatment Effect, ATE) 추정기의 渐近 분산을 최소화하기 위해 실시간으로 치료 할당 확률을 최적화하는 맥락 기반 밴딧 알고리즘을 사용한 적응형 실험 설계를 제안한다. 과거 데이터와 마틴갈레 이론을 활용함으로써, 특히 유한 표본에서 표준 랜덤화 실험 설계(Randomized Controlled Trials, RCTs)에 비해 추정 효율성을 향상시킨다. 실증 결과는 특정 상황에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Many scientific experiments have an interest in the estimation of the average treatment effect (ATE), which is defined as the difference between the expected outcomes of two or more treatments. In this paper, we consider a situation called adaptive experimental design where research subjects sequentially visit a researcher, and the researcher assigns a treatment. For estimating the ATE efficiently, we consider changing the probability of assigning a treatment at a period by using past information obtained until the period. However, in this approach, it is difficult to apply the standard statistical method to construct an estimator because the observations are not independent and identically distributed. In this paper, to construct an efficient estimator, we overcome this conventional problem by using an algorithm of the multi-armed bandit problem and the theory of martingale. In the proposed method, we use the probability of assigning a treatment that minimizes the asymptotic variance of an estimator of the ATE. We also elucidate the theoretical properties of an estimator obtained from the proposed algorithm for both infinite and finite samples. Finally, we experimentally show that the proposed algorithm outperforms the standard RCT in some cases.

연구 동기 및 목표

• 고정된 치료 할당 방식으로 평균 치료 효과(Average Treatment Effect, ATE)를 추정할 때 표준 랜덤화 실험 설계(Randomized Controlled Trials, RCTs)의 비효율성을 해결하기 위해.
• 이력 데이터를 활용해 치료 할당 확률을 적응적으로 갱신하여 추정기 분산을 줄이는 방법을 개발하기 위해.
• 적응형 설계로 인해 발생하는 의존적이고 i.i.d.가 아닌 관측치 문제를 마틴갈레 이론을 적용해 해결하기 위해.
• 유한 표본 및 渐近 표본 규모 모두에서 제안된 추정기의 이론적 보장을 수립하기 위해.
• 적응형 방법이 표준 RCTs에 비해 추정 정밀도 측면에서 뛰어나다는 것을 실증적으로 검증하기 위해.

제안 방법

• 이 방법은 다중 손잡이 밴딧 프레임워크를 사용하여 각 주기까지 춴적된 데이터에 기반해 치료 할당 확률을 동적으로 조정한다.
• 최적의 할당 확률을 ATE 추정기의 渐近 분산을 최소화하는 것으로 설정한다.
• 적응형 설계로 인한 의존성에도 불구하고 유효한 통계적 추론을 보장하기 위해 마틴갈레 이론을 적용한다.
• 알고리즘은 과거 결과를 사용해 치료 할당 확률을 순차적으로 갱신하며, 추정 효율성을 향상시킨다.
• 약한 정규 조건 하에서 제안된 추정기는 일致성과 渐近 정규성을 보임이 입증된다.
• 개별화되고 효율적인 할당을 가능하게 하기 위해 치료 할당에 맥락 정보를 반영한다.

실험 결과

연구 질문

• RQ1 과거 결과를 기반으로 한 적응형 치료 할당이 고정된 랜덤화에 비해 ATE 추정기의 분산을 줄일 수 있는가?
• RQ2 적응형 설계로 인해 관측치가 상호 의존적이게 될 경우, 어떻게 유효한 통계적 추론을 수행할 수 있는가?
• RQ3 각 단계에서 ATE 추정기의 渐近 분산을 최소화하기 위해 치료를 할당할 최적의 확률은 무엇인가?
• RQ4 제안된 방법은 표준 RCTs에 비해 유한 표본에서 어떻게 성능을 발휘하는가?
• RQ5 어떤 조건에서 적응형 설계가 전통적 RCTs에 비해 추정 효율성에서 뚜렷하게 뛰어나게 되는가?

주요 결과

• 제안된 적응형 설계는 시간이 지남에 따라 치료 할당 확률을 최적화함으로써 ATE 추정의 더 낮은 渐近 분산을 달성한다.
• 알고리즘에서 유도된 추정기는 일치성과 渐近 정규성을 보이며, 적응형 샘플링에도 불구하고 유효한 추론이 가능하다.
• 유한 표본 시뮬레이션 결과, 특정 조건 하에서 표준 RCTs에 비해 추정 정밀도 측면에서 본 방법이 뛰어난 성능을 보였다.
• 마틴갈레 이론의 적용으로 인해, 비편향성과 정규성과 같은 표준 통계적 성질이 적응형 설계 하에서도 유지됨을 보장한다.
• 알고리즘은 치료 할당에서 탐색과 이용의 균형을 효과적으로 유지하여 유효성에 손상을 주지 않은 채 더 효율적인 추정을 이끈다.
• 실증 결과는 특정 실험 설정에서 고정 랜덤화에 비해 ATE 추정기의 평균 제곱 오차를 줄이는 데 적응형 접근이 성공적임을 확인한다.