[论文解读] Confidence Intervals for High-Dimensional Linear Regression: Minimax Rates and Adaptivity

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|Jun 18, 2015

Statistical Methods and Inference参考文献 11被引用 8

一句话总结

本文在随机设计下建立了高维线性回归的极小极大最优置信区间，表明当回归向量稀疏时，极小极大期望长度为 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$ 的量级。研究证明，自适应置信区间——能够自动适应未知稀疏度 $k$——在一般情况下是不可能实现的，除非处于一个极稀疏的狭窄区域，原因在于偏差估计存在根本性困难。

ABSTRACT

Confidence sets play a fundamental role in statistical inference. In this paper, we consider confidence intervals for high dimensional linear regression with random design. We first establish the convergence rates of the minimax expected length for confidence intervals in the oracle setting where the sparsity parameter is given. The focus is then on the problem of adaptation to sparsity for the construction of confidence intervals. Ideally, an adaptive confidence interval should have its length automatically adjusted to the sparsity of the unknown regression vector, while maintaining a prespecified coverage probability. It is shown that such a goal is in general not attainable, except when the sparsity parameter is restricted to a small region over which the confidence intervals have the optimal length of the usual parametric rate. It is further demonstrated that the lack of adaptivity is not due to the conservativeness of the minimax framework, but is fundamentally caused by the difficulty of learning the bias accurately.

研究动机与目标

• 在随机设计下，建立高维线性回归中置信区间长度的极小极大收敛速率。
• 研究是否可以构建自适应置信区间——自动适应未知稀疏度 $k$——同时保持有效的覆盖概率。
• 识别由于在高维设置下准确估计偏差的困难而引起的自适应性的根本限制。
• 首次在中等稀疏区域 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ 提供诚实置信区间的构造。
• 刻画自适应置信区间可行的条件，特别是与稀疏参数 $k$ 的关系。

提出的方法

• 在已知稀疏度 $k$ 的“oracle”设定下，推导置信区间期望长度的极小极大下界。
• 提出一种基于低维投影估计器去偏的置信区间构造方法，使用缩放Lasso作为初始估计器。
• 利用得分向量构造线性泛函 $\xi^T\beta$ 的去偏估计量，实现偏差校正。
• 通过控制估计方差和偏差项的偏离程度，利用高概率事件建立覆盖概率保证。
• 使用集中不等式和高维概率工具，对估计误差和方差估计误差进行有界控制。
• 分析置信区间的期望长度，并在适当条件下证明其达到极小极大速率 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$。

实验结果

研究问题

• RQ1 在随机设计下，高维线性回归中置信区间期望长度的极小极大收敛速率是什么？
• RQ2 能否构造出自适应置信区间，使其在未知稀疏参数 $k$ 的情况下仍能达到最优长度？
• RQ3 自适应性的缺失是由于极小极大框架的保守性，还是源于根本性的统计限制？
• RQ4 在中等稀疏区域 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ 中，置信区间的性能表现如何？
• RQ5 偏差估计的困难如何影响自适应置信区间的可行性？

主要发现

• 在已知 $k$ 的oracle设定下，$\xi^T\beta$ 的极小极大期望长度为 $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$。
• 提出了一种置信区间构造方法，其达到该极小极大速率，因此为极小极大速率最优。
• 自适应置信区间——能够自动适应未知 $k$——在一般情况下不可行，仅在极稀疏区域 $k \lesssim \frac{\sqrt{n}}{\log p}$ 可行。
• 自适应性不可能的原因并非极小极大框架的保守性，而是由于在高维下准确学习偏差的根本困难。
• 所提出的置信区间是首个在中等稀疏区域 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ 实现极小极大最优性的构造。
• 在正则条件下，所构造置信区间的期望长度以高概率被控制在 $C\|\xi\|_2\left(k\frac{\log p}{n} + \frac{1}{\sqrt{n}}\right)\sigma$ 以内。