[論文レビュー] The Dantzig selector: Statistical estimation when $p$ is much larger than $n$

Candes, Emmanuel, Tao, Terence|arXiv (Cornell University)|Jun 4, 2005

Random Matrices and Applications被引用数 1,694

ひとこと要約

この論文は、変数の数 $p$ が観測数 $n$ よりも著しく多い高次元線形モデルにおける新しい推定器、Dantzig セレクタを導入する。これは、設計行列と残差ベクトルの最大相関を制限する制約付き $\ell^1$-正則化問題を解くもので、スパarsityおよび設計行列の制限的等長性条件の下で、理想的なオラクルリスクの対数因子以内の推定誤差を達成する。

ABSTRACT

In many important statistical applications, the number of variables or parameters $p$ is much larger than the number of observations $n$. Suppose then that we have observations $y=X\beta+z$, where $\beta\in\mathbf{R}^p$ is a parameter vector of interest, $X$ is a data matrix with possibly far fewer rows than columns, $n\ll p$, and the $z_i$'s are i.i.d. $N(0,\sigma^2)$. Is it possible to estimate $\beta$ reliably based on the noisy data $y$? To estimate $\beta$, we introduce a new estimator--we call it the Dantzig selector--which is a solution to the $\ell_1$-regularization problem \[\min_{ ilde{\b eta}\in\mathbf{R}^p}\| ilde{\beta}\|_{\ell_1}\quad subject to\quad \|X^*r\|_{\ell_{\infty}}\leq(1+t^{-1})\sqrt{2\log p}\cdot\sigma,\] where $r$ is the residual vector $y-X ilde{\beta}$ and $t$ is a positive scalar. We show that if $X$ obeys a uniform uncertainty principle (with unit-normed columns) and if the true parameter vector $\beta$ is sufficiently sparse (which here roughly guarantees that the model is identifiable), then with very large probability, \[\|\hat{\beta}-\beta\|_{\ell_2}^2\le C^2\cdot2\log p\cdot \Biggl(\sigma^2+\sum_i\min(\beta_i^2,\sigma^2)\Biggr).\] Our results are nonasymptotic and we give values for the constant $C$. Even though $n$ may be much smaller than $p$, our estimator achieves a loss within a logarithmic factor of the ideal mean squared error one would achieve with an oracle which would supply perfect information about which coordinates are nonzero, and which were above the noise level. In multivariate regression and from a model selection viewpoint, our result says that it is possible nearly to select the best subset of variables by solving a very simple convex program, which, in fact, can easily be recast as a convenient linear program (LP).

研究の動機と目的

• 高次元線形モデルにおける統計的推定問題を扱う。ここで $p \gg n$ であり、これは遺伝学、画像処理、信号処理の分野で一般的な課題である。
• 観測数が予測子の数を上回る状況でも、パラメーターベクトル $\beta$ を信頼性高く推定できる計算的に実行可能な推定器を開発する。
• 推定誤差の非漸近的バインドを確立し、それが最適なオラクルリスクの対数因子以内に収まるようにする。
• 真の $\beta$ がスパースであり、設計行列が一様不確実性原理（制限的等長性性質）を満たす場合でも、推定器がほぼ最適な性能を達成することを示す。
• 推定器が線形計画問題として再定式化可能であり、標準的な最適化ソルバを用いて効率的に計算可能であることを示し、大規模問題への実用性を裏付ける。

提案手法

• Dantzig セレクタを、次の凸最適化問題の解として提案する：$\|\tilde{\beta}\|_{\ell^1}$ を最小化し、制約 $\|X^*(y - X\tilde{\beta})\|_{\ell^\infty} \leq (1 + t^{-1})\sqrt{2\log p} \cdot \sigma$ を満たす。ここで $r = y - X\tilde{\beta}$ は残差ベクトルである。
• 設計行列 $X$ の特性を、制限的等長定数 $\delta_S$ および制限的直交性定数 $\theta_{S,S'}$ を用いて定義される一様不確実性原理（UUP）によって特徴付ける。
• 双対性の議論とスパース再構成技術を用いて、$\ell^2$-ノルムにおける推定誤差のバインドを導出する。
• 集中不等式およびランダム行列理論を用いて、推定誤差の高確率バインドを導出する。
• 推定器が $n \ll p$ の場合でも、オラクルリスクの対数因子以内に誤差を抑えることができることを示す重要な不等式を導出する。
• 推定器を線形計画問題（LP）として再定式化し、標準的な最適化ソルバを用いた効率的な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 $p \gg n$ であり、データがノイズで汚されている状況でも、高次元パラメーターベクトル $\beta \in \mathbb{R}^p$ を信頼性高く推定できるか？
• RQ2 真のサポートが分かっている場合に達成できる理想的なオラクルリスク（すなわち、真のサポートとノイズレベルが分かっている場合のリスク）に近い推定誤差を、高次元設定で達成できるか？
• RQ3 設計行列が制限的等長性に類する条件を満たす場合、$\ell^1$-正則化のような凸最適化手順がほぼ最適な性能を達成できるか？
• RQ4 Dantzig セレクタは、基底追跡ノイズ除去（basis pursuit denoising）のような他の $\ell^1$-ベース推定器と比べて、誤差バインドおよびスパースニティへの適応性においてどのように異なるか？
• RQ5 実際の計算において、推定器は効率的に計算可能であり、確率的設計行列だけでなく、決定論的設計行列に対しても理論的保証を維持するか？

主な発見

• 高確率で、$\ell^2$-推定誤差バインド $\|\hat{\beta} - \beta\|_{\ell^2} \leq C^2 \cdot \sqrt{2\log p} \cdot \left(\sigma^2 + \sum_i \min(\beta_i^2, \sigma^2)\right)$ が成立する。
• 誤差バインドは、真のサポートとノイズレベルが分かっている場合に達成できる理想的な平均二乗誤差の対数因子以内にある。
• 真の $\beta$ が十分にスパースであり、設計行列 $X$ が制限的等長性性質を満たし、$\delta_S + \theta_{S,S} + \theta_{S,2S} < 1$ を満たす限り、$n \ll p$ の場合でも推定器は良好に機能する。
• 計算が効率的であり、線形計画問題（LP）として再定式化可能であるため、大規模問題へのスケーラビリティが保証される。
• 理論的保証は確率的設計行列に限らず、決定論的設計行列に対しても成立するため、適用範囲が広がる。
• ノイズレベルが低い場合、真のスパースニティレベルが未知であっても、非適応的手法（例：基底追跡ノイズ除去）よりも優れた性能を達成できる。