[論文レビュー] Confidence Intervals for High-Dimensional Linear Regression: Minimax Rates and Adaptivity

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|Jun 18, 2015

Statistical Methods and Inference参考文献 11被引用数 8

ひとこと要約

この論文は、スパース回帰ベクトルに対して、確率的設計のもとで最小最大最適な信頼区間を確立し、最小最大期待長さが $rac{1}{√{n}} + k\frac{\log p}{n}$ のオーダーであることを示している。また、未知のスパarsity $k$ に自動的に適合する適応的信頼区間は、根本的なバイアス推定の困難さのため、一般には不可能であることが示されている。唯一の例外は、極めてスパースな領域である。

ABSTRACT

Confidence sets play a fundamental role in statistical inference. In this paper, we consider confidence intervals for high dimensional linear regression with random design. We first establish the convergence rates of the minimax expected length for confidence intervals in the oracle setting where the sparsity parameter is given. The focus is then on the problem of adaptation to sparsity for the construction of confidence intervals. Ideally, an adaptive confidence interval should have its length automatically adjusted to the sparsity of the unknown regression vector, while maintaining a prespecified coverage probability. It is shown that such a goal is in general not attainable, except when the sparsity parameter is restricted to a small region over which the confidence intervals have the optimal length of the usual parametric rate. It is further demonstrated that the lack of adaptivity is not due to the conservativeness of the minimax framework, but is fundamentally caused by the difficulty of learning the bias accurately.

研究の動機と目的

• 確率的設計を伴う高次元線形回帰における信頼区間長の最小最大収束速度を確立すること。
• 未知のスパarsity $k$ に自動的に適合する適応的信頼区間を構築可能かどうかを検討すること。
• 高次元設定におけるバイアスの正確な推定が困難であることに起因する、適応性の根本的制限を同定すること。
• 中程度のスパース領域 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ における誠実な信頼区間の初の構築を提供すること。
• 特にスパarsityパラメータ $k$ との関係において、適応的信頼区間が実現可能な条件を特徴付けること。

提案手法

• スパarsity $k$ が既知であるオラクル設定において、信頼区間の期待長さに対する最小最大下界を導出する。
• スケーリングLassoを初期推定器として用い、低次元の射影推定器によるデバイアス化に基づく信頼区間の構築を提案する。
• 線形機能 $\xi^T\beta$ のデバイアス補正推定器を、スコアベクトルを用いて構築する。
• 高確率事象による推定分散とバイアス項の逸脱を制御することで、被覆確率の保証を確立する。
• 集中不等式と高次元確率の道具を用いて、推定誤差と分散推定誤差をバインドする。
• 期待信頼区間長を解析し、適切な条件下で最小最大レート $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$ を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 確率的設計を伴う高次元線形回帰における信頼区間の期待長さの最小最大収束速度は何か？
• RQ2 スパarsityパラメータ $k$ の事前知識がなくとも、最適な長さに自動的に適合する信頼区間を構築可能か？
• RQ3 適応性の欠如は、最小最大フレームワークの保守的性質に起因するのか、それとも根本的な統計的制限か？
• RQ4 中程度のスパース領域 $\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ における信頼区間の挙動はいかなるものか？
• RQ5 バイアス推定の困難さは、適応的信頼区間の実現可能性にどのように影響するか？

主な発見

• スパarsity $k$ が既知であるオラクル設定において、$\xi^T\beta$ の最小最大期待信頼区間長は $\frac{1}{\sqrt{n}} + k\frac{\log p}{n}$ である。
• この最小最大レートを達成する信頼区間の構築が提案され、したがって最小最大レート最適である。
• 未知の $k$ に自動的に適合する適応的信頼区間は、一般には不可能であり、唯一の例外は $k \lesssim \frac{\sqrt{n}}{\log p}$ の超スパース領域である。
• 適応性の不可能性は、最小最大フレームワークの保守的性質に起因するのではなく、高次元におけるバイアスの正確な学習が根本的に困難であることに起因する。
• 提案された信頼区間は、$\frac{\sqrt{n}}{\log p} \ll k \lesssim \frac{n}{\log p}$ の中程度のスパース領域で最小最大最適性を達成する初のものである。
• 正規性条件のもとで、構築された信頼区間の期待長さは、高確率で $C\|\xi\|_2\left(k\frac{\log p}{n} + \frac{1}{\sqrt{n}}\right)\sigma$ で抑えられる。