[論文レビュー] Statistical Theory for High-Dimensional Models

Sara van de Geer|arXiv (Cornell University)|Sep 30, 2014

Statistical Methods and Inference参考文献 1被引用数 10

ひとこと要約

本稿は、固定設計下での高次元線形モデルにおけるlassoおよびその変種のための統計的理論を展開する。予測誤差に関するオラクル不等式の確立、de-sparsified Lassoの漸近的線形性の導出、およびチェイニング技術を用いた集中不等式の導出により、$ p \to \infty $ かつ $ n $ が固定またはゆっくりと増加する高次元設定でも有効な推論が可能となる。

ABSTRACT

These lecture notes consist of three chapters. In the first chapter we present oracle inequalities for the prediction error of the Lasso and square-root Lasso and briefly describe the scaled Lasso. In the second chapter we establish asymptotic linearity of a de-sparsified Lasso. This implies asymptotic normality under certain conditions and therefore can be used to construct confidence intervals for parameters of interest. A similar line of reasoning can be invoked to derive bounds in sup-norm for the Lasso and asymptotic linearity of de-sparsified estimators of a precision matrix. In the third chapter we consider chaining and the more general generic chaining method developed by Talagrand. This allows one to bound suprema of random processes. Concentration inequalities are refined probability inequalities, mostly again for suprema of random processes. We combine the two. We prove a deviation inequality directly using (generic) chaining.

研究の動機と目的

• 高次元設定下でのlassoおよび平方根lassoの予測誤差に関する非漸近的オラクル不等式を確立すること。
• 高次元漸近的条件下でde-sparsified Lasso推定量を用いた有効な信頼区間の構築フレームワークを開発すること。
• 高次元統計における確率過程の上限ノルムを制御するための理論的ツール（特にチェイニングと集中不等式）を提供すること。
• スパarsity仮定下での推定誤差のバインディングに寄与する適合性条件の役割を分析すること。
• ノードワイドlassoおよびグラフィカルlassoを介して精度行列推定へと結果を拡張し、高次元共分散構造の学習を可能にすること。

提案手法

• スパarsityと推定の一致性を保証するため、$ \tilde{\ell}_1 $-ペナルティを用いた罰則付き最小二乗基準の最小化器として定義されるlasso推定量を用いる。
• KKT条件と三つのベータ構造を用いて、双対性および凸共役不等式を介して誤差バインディングを導出する。
• 推定誤差の制御のための主要な条件として、適合性定数 $ \hat{\phi}^2(L,S) $ を導入する。
• 推定量の漸近的線形性に依拠し、de-sparsified Lassoを用いて漸近的正規性を達成し、信頼区間を構築する。
• 一般化されたチェイニングおよび被覆集合技術を用いて、確率過程の上限をバインドする。サブガウスィアン尾部仮定の下で集中不等式を導出する。
• $l_1$-三角不等式および双対ノルム不等式を用いて、高次元パrameter空間における推定誤差の$l_1$-ノルムを制御する。

実験結果

リサーチクエスチョン

• RQ1 $p \gg n$ の高次元モデルにおいて、lassoがどの条件下で最適な予測誤差を達成するか。
• RQ2 lasso推定量のバイアスが存在するにもかかわらず、高次元回帰係数の有効な信頼区間をどのように構築できるか。
• RQ3 適合性定数がスパースモデルにおける推定の一貫性を保証する上で果たす役割は何か。
• RQ4 高次元設定下で、ランダム設計行列にノイズを乗じたものの上限ノルムをどのように制御できるか。
• RQ5 高次元パrameterベクトルによってインデックス付けられた確率過程の挙動を支配する集中不等式は何か。

主な発見

• 本稿では、予測誤差が真のモデル誤差と $ (\lambda + \lambda_\epsilon)^2 |S| / \hat{\phi}^2(L,S) $ の和で上界されるとするオラクル不等式を確立した。ここで $ \lambda_\epsilon \geq \|\epsilon^T X\|_\infty / n $ である。
• de-sparsified Lasso推定量が漸近的に線形であることが示され、個々の係数の漸近的有効な信頼区間の構築が可能となった。
• チェイニング技術を用いて、ランダム設計を伴うlassoの上限ノルムバインディングを導出した。このバインディングはパrameter空間のメトリックエントロピーに依存する。
• 精度行列推定に関しては、平方根ノードワイドlassoおよびグラフィカルlassoの分析を行い、スパarsityおよび適合性条件の下で理論的保証を与えた。
• サブガウスィアン尾部仮定の下で集中不等式を導出し、$ \mathbb{E}\|\bar{X}_n - \bar{X}_n(t_0)\|_\infty \leq \gamma_n(S) + \sqrt{2R_n^2(S)/n} + \mathbb{E}\|\bar{\delta}_n(\cdot,S)\|_\infty $ が成り立つことを示した。ここで $ \gamma_n(a,S) $ は平均偏差を制御する。
• 偏差項 $ \gamma_n(a,S) $ が $ \sqrt{2a/n} $ のスケーリングを示すことが判明し、期待される上限ノルムの偏差が標本サイズ $ n $ とともに減少することを示した。