[論文レビュー] Accuracy Assessment for High-dimensional Linear Regression

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|Mar 10, 2016

Statistical Methods and Inference参考文献 13被引用数 6

ひとこと要約

本稿は、高次元線形回帰におけるℓ_q損失の推定に対してミニマックス下界を確立し、Lasso や Dantzig セレクタのようなレート最適推定量のℓ_q損失の点推定および区間推定に対して鋭いレートを提供する。ℓ_2損失とℓ_q損失（1 ≤ q < 2）の間には根本的な違いが存在し、設計共分散およびノイズ分散が既知または未知の設定下でミニマックスおよび適応的信頼区間を導出する。これには、推定量の性能に制約を課す状況下での損失推定に特化した新技術的手法が用いられる。

ABSTRACT

This paper considers point and interval estimation of the $\ell_q$ loss of an estimator in high-dimensional linear regression with random design. We establish the minimax rate for estimating the $\ell_{q}$ loss and the minimax expected length of confidence intervals for the $\ell_{q}$ loss of rate-optimal estimators of the regression vector, including commonly used estimators such as Lasso, scaled Lasso, square-root Lasso and Dantzig Selector. Adaptivity of the confidence intervals for the $\ell_{q}$ loss is also studied. Both the setting of known identity design covariance matrix and known noise level and the setting of unknown design covariance matrix and unknown noise level are studied. The results reveal interesting and significant differences between estimating the $\ell_2$ loss and $\ell_q$ loss with $1\le q &lt;2$ as well as between the two settings. New technical tools are developed to establish rate sharp lower bounds for the minimax estimation error and the expected length of minimax and adaptive confidence intervals for the $\ell_q$ loss. A significant difference between loss estimation and the traditional parameter estimation is that for loss estimation the constraint is on the performance of the estimator of the regression vector, but the lower bounds are on the difficulty of estimating its $\ell_q$ loss. The technical tools developed in this paper can also be of independent interest.

研究の動機と目的

• 高次元線形回帰におけるℓ_q損失の点推定および区間推定のミニマックス下界を確立すること。
• Lasso や Dantzig セレクタ、その変種のようなレート最適推定量のℓ_q損失に対する信頼区間のミニマックス期待長を特徴づけること。
• 設計共分散行列およびノイズレベルが既知または未知の設定下で、ℓ_q損失の信頼区間の適応性を検討すること。
• ℓ_2損失とℓ_q損失（1 ≤ q < 2）の推定の難易度およびミニマックスレートの観点から、顕著な差異を特定・解説すること。
• 推定量の性能に制約があるが、そのℓ_q損失の推定難易度に下界を求める状況に特化した、新たな技術的ツールの開発

提案手法

• 回帰ベクトルおよびノイズレベルに事前分布を導入した二点検定法を用いて、ℓ_q損失推定誤差のミニマックス下界を導出する。
• Le Cam の方法および Fano の不等式を適用し、スパarsity制約下でのℓ_q損失推定のミニマックスリスクに対する鋭い下界を確立する。
• 設計共分散が未知でノイズ分散も未知の状況下での下界を導出するため、回帰ベクトルβとノイズレベルσに共同事前分布を構築する。
• 推定量の性能を制約として扱う新しい技術的枠組みを用い、そのℓ_q損失の推定難易度に対する下界を導出する。
• ℓ_q損失の信頼区間のミニマックス期待長を分析し、k₂ ≲ √n / log p および k₂ ≳ √n / log p の2つの領域に分けて考察する。
• Lasso、スケーリングLasso、ルート二乗Lasso、Dantzig セレクタといった広く用いられる推定量が、必要な仮定（A1およびA2）を満たすことを確認することで、提案された下界がこれらの推定量に対しても成立することを検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム設計のもとでの高次元線形回帰において、レート最適推定量のℓ_q損失を推定する際のミニマックスレートは何か？
• RQ2 高次元設定下で、ℓ_q損失（1 ≤ q < 2）の推定難易度はℓ_2損失の推定難易度と比べてどのように異なるか？
• RQ3 設計共分散およびノイズ分散が既知または未知の状況下で、ℓ_q損失の信頼区間のミニマックス期待長は何か？
• RQ4 スパarsityやノイズレベルの事前知識なしに、ℓ_q損失の適応的信頼区間を構築し、ミニマックスレートを達成できるか？
• RQ5 推定量の性能に制約があるが、そのℓ_q損失の推定難易度に下界を求める状況において、鋭い下界を導出するための新たな技術的ツールは何か？

主な発見

• k₂ ≲ √n / log p の場合、ℓ_q損失推定のミニマックス下界は k₂^(2/q) (log p)/n × σ₀² のオーダーであり、q=2のときのℓ_2損失のレートと一致する鋭い下界である。
• 1 ≤ q < 2 および k₂ ≳ √n / log p の場合、ミニマックス下界は max{ k₂^(2/q - 1) k₁ (log p)/n, k₂^(2/q - 1)/√n } × σ₀² のオーダーとなり、レジーム依存の挙動を示す。
• 1 ≤ q < 2 のとき、ℓ_q損失推定のミニマックスレートはℓ_2損失のそれよりも厳しくなるため、推定難易度に根本的な差が存在することが示された。
• 本稿では、ℓ_q損失の信頼区間のミニマックス期待長が、スパarsityレベルk₂および次元pに依存する下界によって下から抑えられることを確立した。異なるスパarsityレジームで異なる挙動を示す。
• ℓ_q損失推定のミニマックス下界が鋭く、適切なチューニングのもとでLasso、スケーリングLasso、ルート二乗Lasso、Dantzig セレクタといった標準的推定量によって達成されることを示した。
• 共同事前分布の使用や、全 variation 距離を制御した二点検定を用いることで、損失推定問題における鋭い下界を導出する上で有効であることが示された、開発された技術的ツールの有効性