[论文解读] Adaptive Experimental Design for Efficient Treatment Effect Estimation: Randomized Allocation via Contextual Bandit Algorithm.

Masahiro Kato, Takuya Ishihara+2 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出一种基于上下文Bandit算法的自适应实验设计，以实时优化治疗分配概率，最小化平均治疗效应（ATE）估计量的渐近方差。通过利用鞅理论和历史数据，该方法在有限样本中提升了标准随机化对照试验（RCTs）的估计效率，实证结果表明在特定场景下表现更优。

ABSTRACT

Many scientific experiments have an interest in the estimation of the average treatment effect (ATE), which is defined as the difference between the expected outcomes of two or more treatments. In this paper, we consider a situation called adaptive experimental design where research subjects sequentially visit a researcher, and the researcher assigns a treatment. For estimating the ATE efficiently, we consider changing the probability of assigning a treatment at a period by using past information obtained until the period. However, in this approach, it is difficult to apply the standard statistical method to construct an estimator because the observations are not independent and identically distributed. In this paper, to construct an efficient estimator, we overcome this conventional problem by using an algorithm of the multi-armed bandit problem and the theory of martingale. In the proposed method, we use the probability of assigning a treatment that minimizes the asymptotic variance of an estimator of the ATE. We also elucidate the theoretical properties of an estimator obtained from the proposed algorithm for both infinite and finite samples. Finally, we experimentally show that the proposed algorithm outperforms the standard RCT in some cases.

研究动机与目标

• 解决在治疗分配固定时，标准随机化对照试验（RCTs）在估计平均治疗效应（ATE）时的低效问题。
• 开发一种方法，利用历史数据自适应地更新治疗分配概率，以降低估计量方差。
• 通过应用鞅理论，克服自适应设计中依赖性、非独立同分布（i.i.d.）观测带来的挑战。
• 在有限样本和渐近样本两种情形下，为所提出的估计量建立理论保证。
• 通过实证验证，自适应方法在估计精度方面优于标准RCTs。

提出的方法

• 该方法采用多臂Bandit框架，根据截至每个周期的累积数据动态调整治疗分配概率。
• 将最优分配概率表述为最小化ATE估计量渐近方差的策略。
• 应用鞅理论，确保在自适应设计引起的依赖性下，统计推断依然有效。
• 算法按顺序更新治疗分配概率，利用历史结果提升估计效率。
• 在温和正则性条件下，证明所提出的估计量是一致且渐近正态的。
• 该方法在治疗分配中考虑了上下文信息，实现了个性化且高效的分配。

实验结果

研究问题

• RQ1 基于历史结果的自适应治疗分配是否能降低ATE估计量的方差，相比固定随机化？
• RQ2 当观测因自适应设计而具有依赖性时，如何有效进行统计推断？
• RQ3 在每个阶段，为最小化ATE估计量的渐近方差，最优治疗分配概率是多少？
• RQ4 与标准RCTs相比，该方法在有限样本中的表现如何？
• RQ5 在何种条件下，自适应设计在估计效率方面显著优于传统RCTs？

主要发现

• 所提出的自适应设计通过随时间最优调整治疗分配概率，实现了更低的ATE估计渐近方差。
• 从算法导出的估计量具有一致性和渐近正态性，即使在自适应抽样下也能保证有效推断。
• 有限样本模拟表明，在特定条件下，该方法在估计精度方面优于标准RCTs。
• 鞅理论的应用确保了标准统计性质（如无偏性和正态性）在自适应设计下依然成立。
• 该算法在治疗分配中有效平衡了探索与利用，实现了更高效的估计，且不损害推断有效性。
• 实证结果证实，在特定实验设置中，与固定随机化相比，自适应方法显著降低了ATE估计量的均方误差。