[论文解读] Selective inference with a randomized response

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|Jul 24, 2015

Statistical Methods in Clinical Trials参考文献 26被引用 23

一句话总结

本文提出了一种用于选择性推断的随机化响应框架，提升了统计功效，并在非参数设定下实现了弱收敛。通过将随机化引入模型选择（受差分隐私和样本分割的启发），该研究建立了选择性中心极限定理，确保在一般条件下，枢轴量收敛至 Uniform(0,1)，从而在数据依赖的模型选择后实现有效的推断。

ABSTRACT

Inspired by sample splitting and the reusable holdout introduced in the field of differential privacy, we consider selective inference with a randomized response. We discuss two major advantages of using a randomized response for model selection. First, the selectively valid tests are more powerful after randomized selection. Second, it allows consistent estimation and weak convergence of selective inference procedures. Under independent sampling, we prove a selective (or privatized) central limit theorem that transfers procedures valid under asymptotic normality without selection to their corresponding selective counterparts. This allows selective inference in nonparametric settings. Finally, we propose a framework of inference after combining multiple randomized selection procedures. We focus on the classical asymptotic setting, leaving the interesting high-dimensional asymptotic questions for future work.

研究动机与目标

• 解决在数据依赖模型选择后进行有效统计推断的挑战，因为经典方法会因选择偏差而失效。
• 克服在非高斯和非参数设定下选择性推断的局限性，其中渐近正态性无法保证有效的p值。
• 在模型选择中引入随机化以稳定推断，并确保选择性程序的弱收敛。
• 建立一个选择性中心极限定理，将渐近正态性结果推广至一般抽样分布下的选择性推断。
• 提供一种框架，用于组合多个随机化选择程序，以提高推断的稳健性和一致性。

提出的方法

• 使用随机化模型选择（如随机样本分割或向检验统计量添加噪声）以使选择事件更稳定，减少对罕见事件的敏感性。
• 将选择性分布定义为给定随机化选择事件时检验统计量的条件分布，确保在原假设下枢轴量服从均匀分布。
• 利用指数族和条件分布的结构，推导选择性似然比和枢轴统计量。
• 在较弱的矩条件下方证明选择性中心极限定理，表明即使在底层分布非正态时，枢轴量仍收敛至 Uniform(0,1)。
• 利用 Stein 方法和矩界控制正态近似的误差，确保误差收敛速度为 $ n^{-1/2} $ 阶。
• 将该框架扩展至组合多个随机化选择程序，保持推断的有效性和一致性。

实验结果

研究问题

• RQ1 随机化模型选择是否能提升非参数设定下选择性推断的统计功效和有效性？
• RQ2 在一般抽样分布下，即使数据非正态，由随机化选择导出的枢轴量是否收敛至 Uniform(0,1)？
• RQ3 能否建立一个选择性中心极限定理，将渐近正态性结果推广至数据依赖模型选择下的选择性推断？
• RQ4 选择中的随机化如何影响选择性推断程序的弱收敛性和一致性？
• RQ5 组合多个随机化选择程序以提高推断稳健性的理论基础是什么？

主要发现

• 与确定性选择相比，随机化选择在非高斯设定下可带来更强大的选择性检验。
• 在较弱的矩条件下，由给定随机化选择事件的条件分布导出的枢轴量 $ P(ar{X}_{n,obs}) $ 在分布上收敛至 Uniform(0,1)。
• 建立了选择性中心极限定理：在独立抽样和矩条件成立下，枢轴量的分布收敛至 Uniform(0,1)，从而在非参数模型中实现有效的p值和置信区间。
• 近似误差的收敛速度为 $ O(n^{-1/2}) $，通过矩界和 Stein 方法实现控制。
• 该框架支持选择性推断程序的一致估计和弱收敛，即使底层分布非正态亦成立。
• 该方法可推广至组合多个随机化选择程序，在高维或复杂设定下保持有效性并提升稳健性。