[论文解读] Confidence Intervals for Selected Parameters

Yoav Benjamini, Yotam Hechtlinger+1 more|arXiv (Cornell University)|Jun 2, 2019

Statistical Methods in Clinical Trials参考文献 18被引用 8

一句话总结

本文通过考虑选择规则，提出了针对选定参数（即 m 个位移参数中最大的 k 个）的联合置信区间，从而在标准方法基础上提高了覆盖率的准确性。该方法控制了‘所选参数上的联合误差率’（SoS），当 k ≪ m 时，其置信区间比 Šidák 或 Bonferroni 校正更短；当 k ≈ m 时，则趋近于这些方法的结果。

ABSTRACT

Practical or scientific considerations often lead to selecting a subset of parameters as ``important.'' Inferences about those parameters often are based on the same data used to select them in the first place. That can make the reported uncertainties deceptively optimistic: confidence intervals that ignore selection generally have less than their nominal coverage probability. Controlling the probability that one or more intervals for selected parameters do not cover---the ``simultaneous over the selected'' (SoS) error rate---is crucial in many scientific problems. Intervals that control the SoS error rate can be constructed in ways that take advantage of knowledge of the selection rule. We construct SoS-controlling confidence intervals for parameters deemed the most ``important'' $k$ of $m$ shift parameters because they are estimated (by independent estimators) to be the largest. The new intervals improve substantially over Šidák intervals when $k$ is small compared to $m$, and approach the standard Bonferroni-corrected intervals when $k \approx m$. Standard, unadjusted confidence intervals for location parameters have the correct coverage probability for $k=1$, $m=2$ if, when the true parameters are zero, the estimators are exchangeable and symmetric.

研究动机与目标

• 解决标准置信区间在基于数据驱动标准选择参数时出现的覆盖率失真问题。
• 开发控制‘所选参数上的联合误差率’（SoS）的置信区间，确保对选定参数的推断有效。
• 通过整合选择规则知识（例如，选择最大的 k 个估计值），改进现有方法如 Šidák 和 Bonferroni。
• 证明选择性推断方法在仅少数参数具有研究兴趣时，比对所有可能子集的联合推断更具功效和精确性。

提出的方法

• 通过基于选择规则（即选择最大的 k 个估计位移参数）进行条件化，构建控制 SoS 错误率的置信区间。
• 采用基于变换的方法，比较不同参数配置下覆盖区域的概率，证明在选择条件下覆盖概率是随机递增的。
• 运用几何与概率论证（例如，三角形全等、区域的反射与旋转）证明，在选定模型下的覆盖概率不低于零假设或更简单配置下的覆盖概率。
• 通过在不同协方差结构（AR、TD、Block）下对混合正态分布和 t 分布变量进行模拟，验证方法在依赖性下的稳健性与覆盖率。
• 将所提区间与标准的 Šidák 和 Bonferroni 区间进行比较，表明当 k 相对于 m 较小时，其长度更短、覆盖率更优。
• 利用对称性与不变性论证，证明所选区间的覆盖概率随真实参数值的增大而随机递增，从而支持有效推断。

实验结果

研究问题

• RQ1 如何构建置信区间，使其在基于估计值（如最大的 k 个）选择参数时仍能保持有效的覆盖率？
• RQ2 将选择规则知识纳入考虑，是否可使置信区间比标准的联合方法（如 Šidák 或 Bonferroni）更短、更具功效？
• RQ3 参数之间的依赖性（如相关性或重尾分布）对 SoS 置信区间的覆盖率有何影响？
• RQ4 当所选参数数 k 相对于总数 m 较小时与较大时，该方法的表现如何？
• RQ5 在自回归、时变衰减或块状协方差等不同依赖结构下，SoS 错误率控制是否具有鲁棒性？

主要发现

• 所提出的 SoS 控制置信区间在选择规则下实现了正确的覆盖率，即使标准区间过于乐观。
• 当 k ≪ m 时，区间显著短于 Šidák 区间，从而提高了精度与功效。
• 当 k 接近 m 时，区间趋近于标准 Bonferroni 校正的结果，保持与现有方法的一致性。
• 模拟结果表明，该方法在多种依赖结构（AR、TD、Block）下均保持接近名义覆盖率（例如，α=0.05 时约为 95%），仅有轻微偏差。
• 在依赖性条件下，该方法保持保守，覆盖率常超过名义水平，表明具有鲁棒性，但在特定情境下仍有改进空间。
• 选择分布（如模拟中的 η）对覆盖率的影响强于协方差结构，表明真实参数差异的大小是关键影响因素。