[論文レビュー] Exponential Screening and optimal rates of sparse estimation

Philippe Rigollet, Tsybakov, Alexandre|arXiv (Cornell University)|Mar 12, 2010

Statistical Methods and Inference参考文献 41被引用数 86

ひとこと要約

この論文は、平均二乗誤差とスパarsityの両方を適応的にバランスさせる高次元線形回帰のための新しいスパース推定手順である指数スクリーニング（es）を導入する。離散事前分布を用いた指数加重平均化を通じて、低ランクの設計行列、非ゼロ係数の数が少ない（ℓ₀ノルム）、係数ベクトルのℓ₁ノルムが小さいという3種類のスパarsityを同時に活用することで、理論的およびシミュレーション的に既存手法を上回る最小最大レートを達成する。

ABSTRACT

In high-dimensional linear regression, the goal pursued here is to estimate an unknown regression function using linear combinations of a suitable set of covariates. One of the key assumptions for the success of any statistical procedure in this setup is to assume that the linear combination is sparse in some sense, for example, that it involves only few covariates. We consider a general, non necessarily linear, regression with Gaussian noise and study a related question that is to find a linear combination of approximating functions, which is at the same time sparse and has small mean squared error (MSE). We introduce a new estimation procedure, called Exponential Screening that shows remarkable adaptation properties. It adapts to the linear combination that optimally balances MSE and sparsity, whether the latter is measured in terms of the number of non-zero entries in the combination ($\ell_0$ norm) or in terms of the global weight of the combination ($\ell_1$ norm). The power of this adaptation result is illustrated by showing that Exponential Screening solves optimally and simultaneously all the problems of aggregation in Gaussian regression that have been discussed in the literature. Moreover, we show that the performance of the Exponential Screening estimator cannot be improved in a minimax sense, even if the optimal sparsity is known in advance. The theoretical and numerical superiority of Exponential Screening compared to state-of-the-art sparse procedures is also discussed.

研究の動機と目的

• 高次元回帰におけるℓ₀およびℓ₁スパarsity測度の両方に最適に適応するスパース推定手順の開発。
• 一般のスパarsity仮定の下で提案された推定量の最小最大最適性の確立。
• 固定設計におけるガウス回帰で、線形、凸、モデル選択など、すべての標準的集合問題を統一的に解決。
• 理論的根拠が明確で、計算的に実行可能な手法を提供し、Lasso や BIC といった最先端手法を上回る性能を発揮。
• 真のスパarsityレベルが事前に分かっている場合でさえ、推定量の性能を向上させることはできないことを示すこと。

提案手法

• モデルサブセット上の離散事前分布を用いた最小二乗推定量の指数加重平均化に基づく、新しい推定量である指数スクリーニング（es）を提案。
• スパースモデルを好む事前分布を用いることで、ℓ₀およびℓ₁ノルムにおける未知のスパarsityレベルに適応可能な推定量を実現。
• ℓ₀およびℓ₁レートの最小値に基づくスパarsityオラクル不等式（SOI）を導出し、最適なトレードオフに適応していることを示す。
• 高次元設定におけるes推定量の効率的近似のため、メトロポリス・ハスティングスアルゴリズムを導入。
• esの上界リスクと一致する最小最大下界を確立し、最適性を証明。
• 固定設計下での推定量の分析により、最適レートが設計行列Xのランクに依存することを示し、収束速度が緩やかになることを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 1つのスパース推定手順が、同時にℓ₀およびℓ₁スパarsity測度の両方で最適レートを達成できるか？
• RQ2 スパース推定量の性能は、ℓ₀およびℓ₁ノルムの相互作用によって本質的に制限されており、これが統一的なオラクル不等式で捉えられるか？
• RQ3 真のスパarsityレベルが事前に分かっている場合でも、指数スクリーニング推定量が最小最大最適性を達成できるか？
• RQ4 固定設計ガウス回帰における最適集合レートは、確率的設計モデルとどのように異なるか？
• RQ5 理論的最適性を損なわず、計算的に効率的なアルゴリズムをes推定量の近似に設計できるか？

主な発見

• 指数スクリーニングは、ℓ₀およびℓ₁レートの最小値に依存するスパarsityオラクル不等式（SOI）を達成し、両スパarsity測度に最適に適応していることを証明する。
• 推定量は、ℓ₀およびℓ₁ボールの共通部分上での最小最大最適収束レートを達成しており、一致する最小最大下界によって確認されている。
• 固定設計回帰における最適集合レートは、確率的設計モデルよりも遅く、設計行列Xのランクに依存する。
• シミュレーション研究において、es推定量はLassoやBICを上回り、理論的および実証的優位性を示している。
• esの理論的最適性は頑健である：真のスパarsityが事前に分かっていても、最小最大意味でより良い性能を達成できる推定量は存在しない。
• 本手法は、低ランクの設計行列、少ない非ゼロ係数、係数ベクトルのℓ₁ノルムが小さいという3つのスパarsityタイプを同時に活用している。