[论文解读] Contextual Bandits in a Survey Experiment on Charitable Giving: Within-Experiment Outcomes versus Policy Learning

Susan Athey, Undral Byambadalai+4 more|arXiv (Cornell University)|Nov 22, 2022

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出了一种情境 bandit 实验的启发式方法，通过减缓处理分配概率的衰减并限制政策学习仅在充分收集数据的臂上进行，从而提升政策学习效果。尽管累积遗憾更高，但均匀随机化在政策学习方面优于标准 bandit 算法。该方法在中等规模的慈善捐赠调查实验中提升了离策略评估的准确性。

ABSTRACT

We design and implement an adaptive experiment (a ``contextual bandit'') to learn a targeted treatment assignment policy, where the goal is to use a participant's survey responses to determine which charity to expose them to in a donation solicitation. The design balances two competing objectives: optimizing the outcomes for the subjects in the experiment (``cumulative regret minimization'') and gathering data that will be most useful for policy learning, that is, for learning an assignment rule that will maximize welfare if used after the experiment (``simple regret minimization''). We evaluate alternative experimental designs by collecting pilot data and then conducting a simulation study. Next, we implement our selected algorithm. Finally, we perform a second simulation study anchored to the collected data that evaluates the benefits of the algorithm we chose. Our first result is that the value of a learned policy in this setting is higher when data is collected via a uniform randomization rather than collected adaptively using standard cumulative regret minimization or policy learning algorithms. We propose a simple heuristic for adaptive experimentation that improves upon uniform randomization from the perspective of policy learning at the expense of increasing cumulative regret relative to alternative bandit algorithms. The heuristic modifies an existing contextual bandit algorithm by (i) imposing a lower bound on assignment probabilities that decay slowly so that no arm is discarded too quickly, and (ii) after adaptively collecting data, restricting policy learning to select from arms where sufficient data has been gathered.

研究动机与目标

• 为解决在自适应实验中最小化累积遗憾与最大化后续政策学习的数据质量之间的权衡。
• 评估通过情境 bandits 进行自适应数据收集是否会因处理分配不均和过早舍弃臂而损害政策学习。
• 设计一种实用的启发式方法，在不显著牺牲实验期间参与者福利的前提下提升政策学习效果。
• 在一项关于个性化捐赠呼吁的真实世界调查实验中测试该方法。
• 在现实实验环境中比较通过自适应与均匀随机化数据收集所学习的政策的价值。

提出的方法

• 作者提出了一种修改后的情境 bandit 算法，对处理分配概率施加缓慢衰减的下限，以防止过早舍弃臂。
• 在自适应数据收集之后，将政策学习限制在获得充分曝光的臂上，从而提升估计的稳定性。
• 该方法使用基于树的集成模型（TreeBagging）来估计结果响应，并根据参与者调查特征指导处理分配。
• 通过模拟研究评估在不同数据异质性和样本规模下，替代 bandit 算法（如 BootstrapThompson、BootstrapES、BootstrapTTTS）的表现。
• 作者通过真实试点数据锚定，比较了使用均匀随机化与自适应 bandit 算法数据的政策表现。
• 最终评估通过第二次模拟研究，评估在所提出的启发式方法下所学政策相对于基线方法的价值。

实验结果

研究问题

• RQ1 通过标准情境 bandits 进行自适应数据收集是否因处理分配不均而损害政策学习的准确性？
• RQ2 当使用自适应收集的数据时，即使增加累积遗憾，简单的启发式方法是否仍能提升政策学习表现？
• RQ3 在中等规模实验中，均匀随机化是否优于自适应 bandit 方法，以学习高价值的个性化处理分配政策？
• RQ4 在自适应实验中，政策学习表现如何随数据异质性和样本规模而变化？
• RQ5 将政策学习限制在充分暴露的臂上，能在多大程度上提升离策略评估的准确性？

主要发现

• 均匀随机化产生的政策价值显著高于标准情境 bandit 算法，在所有正则化水平下，政策价值平均提高了 79%。
• 所提出的启发式方法（结合分配概率的缓慢衰减与选择性政策学习）在仅适度增加累积遗憾的情况下，提升了相对于标准 bandit 的政策学习表现。
• TreeBagging(50) 相对于均匀随机化，将每周期遗憾降低了 78.5% 至 79.7%，表现出极强的遗憾最小化能力。
• 即使在个性化定位下，最优政策仍为大多数参与者选择了绿色和平组织，而为特定子群体选择了更具争议性的慈善机构，表明偏好存在显著异质性。
• 当数据通过均匀随机化收集时，政策学习的价值始终更高，表明在中等规模实验中，自适应算法可能损害政策评估。
• 结果表明，标准自适应算法可能过早舍弃潜在有效的臂，从而损害离策略评估的可靠性。