[论文解读] Clip-OGD: An Experimental Design for Adaptive Neyman Allocation in Sequential Experiments

Jessica Dai, Paula Gradu+1 more|arXiv (Cornell University)|May 26, 2023

Optimal Experimental Design Methods被引用 4

一句话总结

本文提出 Clip-OGD，一种自适应实验设计，通过最小化 Neyman 损失实现序列因果推断中的近似最优精度——证明其期望损失为 $˜{/mathcal{O}}(ackslash sqrt{T})$。该方法利用在线凸优化动态分配处理措施，基于观测结果，渐近地恢复最优 Neyman 方差，并通过保守的方差估计器实现有效的置信区间。

ABSTRACT

From clinical development of cancer therapies to investigations into partisan bias, adaptive sequential designs have become increasingly popular method for causal inference, as they offer the possibility of improved precision over their non-adaptive counterparts. However, even in simple settings (e.g. two treatments) the extent to which adaptive designs can improve precision is not sufficiently well understood. In this work, we study the problem of Adaptive Neyman Allocation in a design-based potential outcomes framework, where the experimenter seeks to construct an adaptive design which is nearly as efficient as the optimal (but infeasible) non-adaptive Neyman design, which has access to all potential outcomes. Motivated by connections to online optimization, we propose Neyman Ratio and Neyman Regret as two (equivalent) performance measures of adaptive designs for this problem. We present Clip-OGD, an adaptive design which achieves $\widetilde{O}(\sqrt{T})$ expected Neyman regret and thereby recovers the optimal Neyman variance in large samples. Finally, we construct a conservative variance estimator which facilitates the development of asymptotically valid confidence intervals. To complement our theoretical results, we conduct simulations using data from a microeconomic experiment.

研究动机与目标

• 解决在真实潜在结果未知的情况下，实现序列实验中最优精度的挑战。
• 通过 Neyman 比率和 Neyman 损失作为关键度量，形式化自适应设计的性能保证。
• 开发一种自适应设计，渐近地逼近不可行的最优非自适应 Neyman 设计的方差。
• 构建一个保守的方差估计器，实现在自适应设计下置信区间的渐近有效性。
• 调和统计效率与治疗分配中的伦理权衡，特别是最小化伤害与最大化估计精度之间的权衡。

提出的方法

• 引入 Neyman 损失作为性能度量：自适应设计的累积损失与最优非自适应 Neyman 设计之间的差异。
• 提出 Clip-OGD，一种在线随机投影梯度下降的变体，用于在序列治疗分配中最小化 Neyman 损失。
• 在梯度更新中使用裁剪机制，以确保自适应概率更新的有界性和稳定性。
• 在每个时间步定义损失函数为 $ f_t(p) = \frac{y_t(1)^2}{p} + \frac{y_t(0)^2}{1-p} $，其对应于均值差异估计器的逆方差。
• 构建一个保守的方差估计器，以考虑自适应设计中的估计误差，确保置信区间的渐近覆盖。
• 将自适应分配问题建模为在线凸优化，利用该领域理论保证推导损失边界。

(a) Original dataset

实验结果

研究问题

• RQ1 即使无法预先观测潜在结果，自适应序列设计是否能实现接近最优非自适应 Neyman 设计的方差？
• RQ2 哪种性能度量最能捕捉自适应设计在序列因果推断中的效率？
• RQ3 在线优化技术能否被调整以在自适应治疗分配背景下实现次线性损失？
• RQ4 在不假设固定治疗概率的前提下，如何在自适应设计下构建有效的置信区间？
• RQ5 在最小化累积损失（患者福祉）与最小化估计方差（科学精度）之间，存在何种伦理权衡？

主要发现

• Clip-OGD 实现了 $\widetilde{\mathcal{O}}(\sqrt{T})$ 的期望 Neyman 损失，确保估计量的方差在大样本下收敛至最优 Neyman 方差。
• Neyman 损失与 Neyman 比率是等价的性能度量，可直接控制估计量方差向最优水平的收敛。
• 构建了一个保守的方差估计器，确保在自适应设计下置信区间的渐近覆盖。
• 理论分析表明，在某些矩条件成立下，任何分配策略若非最优，将至少产生 $\Omega(T^{2-q})$ 的损失，凸显了 Clip-OGD 速率的最优性。
• 使用微观经济数据的模拟验证了理论结果，显示 Clip-OGD 实现了接近最优 Neyman 设计的方差。
• 伦理分析揭示了根本性权衡：最小化累积损失的设计会牺牲估计精度，反之亦然，强调了根据具体情境选择设计的必要性。

(b) First 100 units have flipped potential outcomes