[论文解读] An MCMC-free approach to post-selective inference

Snigdha Panigrahi, Jelena Markovic+1 more|arXiv (Cornell University)|Mar 17, 2017

Machine Learning and Algorithms参考文献 20被引用 7

一句话总结

本文提出了一种无需蒙特卡洛采样的方法，用于随机凸优化问题中的事后选择推断，通过使用难以处理的选择性枢轴的凸近似。通过在 ℝ^{|E|} 中求解一个凸优化问题，该方法实现了置信区间的直接计算，具有有效的覆盖概率和更高的统计功效，相较于基于 MCMC 的方法在稳定性和可扩展性方面表现更优。

ABSTRACT

We develop a Monte Carlo-free approach to inference post output from randomized algorithms with a convex loss and a convex penalty. The pivotal statistic based on a truncated law, called the selective pivot, usually lacks closed form expressions. Inference in these settings relies upon standard Monte Carlo sampling techniques at a reference parameter followed by an exponential tilting at the reference. Tilting can however be unstable for parameters that are far off from the reference parameter. We offer in this paper an alternative approach to construction of intervals and point estimates by proposing an approximation to the intractable selective pivot. Such an approximation solves a convex optimization problem in |E| dimensions, where |E| is the size of the active set observed from selection. We empirically show that the confidence intervals obtained by inverting the approximate pivot have valid coverage.

研究动机与目标

• 解决在随机凸优化中模型选择后构建有效置信区间的挑战，其中标准的 MCMC 方法存在不稳定性和高计算成本。
• 为选择后的推断开发一种可扩展的蒙特卡洛采样替代方法，特别是在具有复杂选择机制的高维设置下。
• 通过利用选择过程中的随机化来提高统计功效，与非随机化方法相比，可减小区间宽度。
• 提供一种计算高效且稳定的置信区间构造方法，无需依赖马氏链蒙特卡洛采样或指数倾斜法。
• 实现对近似枢轴的直接反演以进行区间估计，避免迭代采样并减少误差传播。

提出的方法

• 为选择性枢轴中难以处理的归一化函数 h(t) 提出一个凸近似 ĥ(t)，该函数源于多元正态分布下仿射区域的体积。
• 通过在枢统计量中用 ĥ(t) 替代 h(t)，构建近似选择性枢轴，从而实现在网格 G 上通过数值积分进行直接计算。
• 对近似枢轴进行反演以构造置信区间，其有效性已在多种设置下通过实证验证。
• 通过最大化近似截断似然来计算选择性最大似然估计量（MLE），该估计量亦可作为 MCMC 采样器的参考。
• 将近似表示为在 ℝ^{|E|} 中的凸优化问题，其中 |E| 为活动集的大小，从而实现高效且可并行计算。
• 使用基于网格的数值积分：∫ exp(−(t−b)²/(2σ²)) h(t) dt ≈ ∑_{t∈G} exp(−(t−b)²/(2σ²)) ĥ(t)，以近似归一化常数。

实验结果

研究问题

• RQ1 对难以处理的选择性枢轴使用凸近似，是否能实现在无需蒙特卡洛采样的情况下进行有效的事后选择推断？
• RQ2 在高维设置下，与基于 MCMC 的方法和朴素置信区间相比，所提出方法在覆盖概率和区间长度方面表现如何？
• RQ3 结合所提出的枢轴近似，选择过程中的随机化是否能带来比非随机化方法更高的统计功效？
• RQ4 近似枢轴是否可用于直接计算选择性 MLE？其与基于 MCMC 的 MLE 估计相比表现如何？
• RQ5 该方法在具有大活动集的高维推断问题中，其可扩展性和并行化能力在多大程度上得以实现？

主要发现

• 所提出方法实现了置信区间的有效覆盖，多个模拟设置下的经验覆盖率在 87% 至 91% 之间，接近名义上的 90% 水平。
• 基于近似枢轴的置信区间长度与朴素区间相近（例如，Lasso 搭配高斯随机化时，分别为 4.44 和 3.25），表明具有高统计功效。
• 该方法在稳定性方面优于基于 MCMC 的推断，尤其在远离参考值的参数上，此时指数倾斜法会失效。
• 在 HIV 药物耐药性分析中，经校正推断后，突变 P174K、P115F 和 P74I 失去统计显著性，凸显了选择性偏差校正的影响。
• 与未经校正的最小二乘估计量相比，从近似截断分布计算出的选择性 MLE 向零收缩，体现了偏差校正的效果。
• 该方法可高效扩展，并支持在网格上并行计算置信区间和 ĥ(t)，而 MCMC 依赖于顺序采样。