[论文解读] Counterfactual inference in sequential experiments

Raaz Dwivedi, Katherine Tian+4 more|arXiv (Cornell University)|Feb 14, 2022

Statistical Methods in Clinical Trials被引用 4

一句话总结

该论文提出了一种非参数潜在因子模型，用于在具有自适应治疗策略的顺序设计实验中进行反事实推断，采用基于最近邻的估计方法，实现对个体和时间特定的反事实均值的有效置信区间。在常规条件下，该方法即使在对自适应策略假设极少的情况下，也能提供高概率误差界下的渐近有效推断。

ABSTRACT

We consider after-study statistical inference for sequentially designed experiments wherein multiple units are assigned treatments for multiple time points using treatment policies that adapt over time. Our goal is to provide inference guarantees for the counterfactual mean at the smallest possible scale -- mean outcome under different treatments for each unit and each time -- with minimal assumptions on the adaptive treatment policy. Without any structural assumptions on the counterfactual means, this challenging task is infeasible due to more unknowns than observed data points. To make progress, we introduce a latent factor model over the counterfactual means that serves as a non-parametric generalization of the non-linear mixed effects model and the bilinear latent factor model considered in prior works. For estimation, we use a non-parametric method, namely a variant of nearest neighbors, and establish a non-asymptotic high probability error bound for the counterfactual mean for each unit and each time. Under regularity conditions, this bound leads to asymptotically valid confidence intervals for the counterfactual mean as the number of units and time points grows to $\infty$ together at suitable rates. We illustrate our theory via several simulations and a case study involving data from a mobile health clinical trial HeartSteps.

研究动机与目标

• 在具有自适应治疗策略的顺序设计实验中，实现对个体 × 时间层面反事实均值的事后统计推断。
• 解决当未知数数量超过观测数据点数量时，高维、欠定的反事实估计问题。
• 开发一种对反事实均值结构假设极少的方法，同时确保在自适应、可能合并的治疗策略下实现有效推断。
• 为反事实均值估计建立非渐近的高概率误差界，并在 N 和 T 增长时推导出渐近有效的置信区间。
• 通过模拟和一个真实世界移动健康试验（HeartSteps）对方法进行实证验证，证明其对用户异质性和策略自适应性的鲁棒性。

提出的方法

• 在反事实均值上引入一种非参数潜在因子模型，推广了非线性混合效应模型和双线性因子模型。
• 使用最近邻算法的一种变体来估计反事实均值，利用治疗反应空间中个体之间的相似性。
• 推导出每个个体和时间点的估计反事实均值的非渐近高概率误差界。
• 通过证明在 N 和 T 联合增长下的收敛速率，建立置信区间的渐近有效性。
• 采用基于训练数据的数据驱动超参数调优策略，为最近邻阈值 η 选择最优值，避免因数据有限而使用验证集。
• 使用可用时间点的治疗和用户特定均值对缺失结果进行插补，并在敏感性分析中探索其他插补策略（如“可用”和“零”插补）以处理不可用时间点的结果。

实验结果

研究问题

• RQ1 在具有自适应、合并治疗策略的顺序实验中，能否为个体和时间特定的反事实均值构建有效的置信区间？
• RQ2 当未知数数量超过观测数据点数量时，如何在最细粒度（个体 × 时间）上实现反事实推断？
• RQ3 所提出的非参数潜在因子模型在不施加强参数假设的前提下，能在多大程度上捕捉个体和时间上的治疗效应异质性？
• RQ4 在真实世界数据中，最近邻估计策略在经验覆盖性和对用户异质性的鲁棒性方面表现如何？
• RQ5 对缺失结果采用不同插补策略，对结果矩阵的奇异值分解及下游推断有何影响？

主要发现

• 所提出的方法为反事实均值估计实现了非渐近的高概率误差界，使得在假设极少的情况下仍能实现有效推断。
• 当 N 和 T 以适当速率联合增长时，反事实均值的置信区间具有渐近有效性，确保在大样本中具有正确的覆盖概率。
• 经过调优的超参数 η = 8.72（成对距离的第43百分位数）在 HeartSteps 案例研究中为全部35个筛选后的用户至少提供了三个邻居，确保了估计的稳定性。
• 在个体特定随机效应（来自 IP-TS）与最近邻数量之间观察到负相关性（r = -0.69，p = 0.06），表明两者在捕捉用户异质性方面具有一致性。
• “可用”插补策略在前三个奇异分量中即可解释超过60%的方差，而“零”插补策略则需约十个分量才能达到相同的方差解释度。
• 在35个筛选后的用户中，经验覆盖概率显示该方法保持了接近名义水平的覆盖率，直方图表明大多数用户实现了接近目标的覆盖。