[论文解读] Confidence Sets Based on Sparse Estimators Are Necessarily Large

Benedikt M. Pötscher|Munich Personal RePEc Archive (Ludwig Maximilian University of Munich)|Nov 7, 2007

Statistical Methods and Inference参考文献 24被引用 29

一句话总结

本文表明，使用稀疏估计量（如LASSO、SCAD或事后模型选择估计量）构建的置信集，即使在与标准置信集具有相同的名义覆盖概率时，其大小也必然更大。关键结果表明，稀疏性导致不可避免的权衡：此类置信集的有限样本覆盖概率可能任意低，尽管估计量具有理想的渐近性质（如'oracle'性质），这使得它们不可靠。

ABSTRACT

Confidence sets based on sparse estimators are shown to be large compared to more standard confidence sets, demonstrating that sparsity of an estimator comes at a substantial price in terms of the quality of the estimator. The results are set in a general parametric or semiparametric framework.

研究动机与目标

• 研究基于稀疏估计量的置信集的有限样本行为，这些估计量常因其渐近的'oracle'性质而被认为可靠。
• 挑战稀疏估计量导致高质量置信集的假设，尽管其具有有利的点态渐近行为。
• 证明'oracle'性质并不意味着置信区间具有良好的频率覆盖性质。
• 建立基于稀疏估计量的置信集大小必然大于标准估计量的置信集，即使在相同的覆盖保证下。
• 为理解以稀疏估计量为中心的'朴素'置信区间为何无法保持诚实覆盖提供理论基础。

提出的方法

• 本文在一般参数或半参数框架下分析基于稀疏估计量的置信集，重点关注参数空间上覆盖概率的下确界。
• 采用局部渐近正态化框架，并假设在局部替代下测度的渐近连续性，以建模估计量在稀疏边界附近的行为。
• 分析聚焦于覆盖概率函数 $ p_n(\theta) $，该函数针对具有对称置信区间 $[\hat{\theta}_n - a_n, \hat{\theta}_n + a_n] $ 的阈值估计量显式推导得出，并表明其在 $ \theta = -a_n $ 和 $ \theta = b_n $ 处存在不连续性。
• 下确界覆盖概率计算为 $ \min[\Phi(n^{1/2}(a_n - \eta_n)) - \Phi(-n^{1/2}b_n), \Phi(n^{1/2}a_n) - \Phi(n^{1/2}(-b_n + \eta_n))] $，若 $ \eta_n \to 0 $ 且 $ n^{1/2}\eta_n \to \infty $，则该值趋近于零，表明覆盖性能差。
• 本文推导了给定下确界覆盖概率 $ \delta < 1 $ 的必要条件，表明 $ a_n \geq \eta_n/2 $ 且 $ a_n = \eta_n - n^{-1/2}\Phi^{-1}(1 - \delta) + o(n^{-1/2}) $，这意味着在稀疏性下置信集的直径会无界增长。
• 结果被推广至部分稀疏估计量，并通过阈值估计量的实例加以说明，确认当估计量稀疏时，置信集的直径会发散。

实验结果

研究问题

• RQ1 基于稀疏估计量的置信集是否在整个参数空间中保持可靠的覆盖概率，即使估计量表现出'oracle'性质？
• RQ2 在给定名义覆盖概率下，基于稀疏估计量的置信集的最小尺寸是多少？
• RQ3 为何以稀疏估计量为中心的'朴素'置信区间——基于其渐近分布构建——在频率学派意义上无法保持诚实覆盖？
• RQ4 估计量的稀疏性如何影响其关联置信集的有限样本覆盖概率的下确界？
• RQ5 基于稀疏估计量的置信集大小是否可以有下界？这对其实际可靠性意味着什么？

主要发现

• 基于稀疏估计量的置信集必然较大，因为其下确界覆盖概率在稀疏性下趋近于零，即使名义覆盖概率固定。
• 以稀疏估计量为中心的对称置信区间的覆盖概率下确界为 $ \Phi(n^{1/2}a_n) - \Phi(n^{1/2}(-a_n + \eta_n)) $，若 $ \eta_n \to 0 $ 且 $ n^{1/2}\eta_n \to \infty $，则该值趋近于零，表明其可靠性差。
• 对于给定的下确界覆盖概率 $ \delta < 1 $，置信区间所需半宽 $ a_n $ 必须满足 $ a_n = \eta_n - n^{-1/2}\Phi^{-1}(1 - \delta) + o(n^{-1/2}) $，这意味着在稀疏性下直径 $ 2a_n $ 会趋于无穷。
• 当 $ \eta_n \to 0 $ 且 $ n^{1/2}\eta_n \to \infty $ 时，置信集的直径满足 $ n^{1/2} \cdot \text{diam}(C_n) \to \infty $，证实稀疏性迫使置信集变大。
• 结果表明，尽管'oracle'性质在渐近下具有吸引力，但其无法反映置信集的真实有限样本行为，因为在关键区域其覆盖概率可能任意低。
• 即使在 $ a_n = b_n $ 的对称情形下，置信集直径在稀疏性下仍会发散，证明基于稀疏估计量的诚实置信集的尺寸惩罚是不可避免的。