[論文レビュー] Pivotal uniform inference in high-dimensional regression with random design in wide classes of models via linear programming

Éric Gautier, Alexandre B. Tsybakov|arXiv (Cornell University)|Mar 26, 2013

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、線形計画法にのみ依存する新しい高次元線形回帰推定量を導入し、計算が高速で、異分散性や誤差分散が未知であるといった弱い分布的仮定のもとでもロバストであることを可能にする。制限固有値条件を必要としないが、固定設計かつi.i.d.正規誤差のもとでの最適推定・予測レートと同等の性能を達成する。

ABSTRACT

We propose a new method of estimation in high-dimensional linear regression model. It allows for very weak distributional assumptions including heteroscedasticity, and does not require the knowledge of the variance of random errors. The method is based on linear programming only, so that its numerical implementation is faster than for previously known techniques using conic programs, and it allows one to deal with higher dimensional models. We provide upper bounds for estimation and prediction errors of the proposed estimator showing that it achieves the same rate as in the more restrictive situation of fixed design and i.i.d. Gaussian errors with known variance. Following Gautier and Tsybakov (2011), we obtain the results under weaker sensitivity assumptions than the restricted eigenvalue or assimilated conditions.

研究の動機と目的

• 二次錐計画法や半正定値計画法の計算負荷を回避する、高次元線形回帰の計算効率の良い推定手法の開発。
• 異分散性や誤差分散の未知性を許容するが、統計的性能を損なわないように分布的仮定を緩和すること。
• 制限固有値仮定よりも弱い感度条件のもとで、最適な推定および予測誤差レートを達成すること。
• 線形計画法に依存することで、二次錐最適化よりも高速であるため、高次元モデルへのスケーラビリティを確保すること。

提案手法

• 本手法は、二次錐計画法や半正定値計画法を必要としない線形計画法を用いて回帰係数を推定する。
• 異分散性に対してロバストで、誤差分散の知識を必要としない推定量を構築する。
• 高次元設定でも計算効率を維持できるように設計されており、線形計画問題の取り扱いやすさを活用する。
• 感度条件を制限固有値条件よりも弱くすることで、GautierとTsybakov（2011）に従い理論的保証を導出する。
• 設計行列および誤差構造に関する最小限の仮定のもとで、推定誤差および予測誤差の最適収束レートを達成するように推定量を定式化する。

実験結果

リサーチクエスチョン

• RQ1 計算効率が良く、弱い分布的仮定のもとでもロバストな高次元回帰推定量を開発できるか？
• RQ2 i.i.d.正規誤差や既知の分散を必要としない線形計画法に基づく推定が、高次元設定でも最適誤差レートを達成できるか？
• RQ3 制限固有値条件よりも弱い感度条件のもとでも、統計的最適性を維持できるか？
• RQ4 速度と誤差レートの観点から、本手法は二次錐計画法に基づく手法と比べてどのように性能を発揮するか？

主な発見

• 提案された推定量は、固定設計かつi.i.d.正規誤差と既知の分散のもとでの最適収束レートと同等の推定誤差および予測誤差の収束レートを達成する。
• 異分散性や誤差分散の未知性を含む非常に弱い分布的仮定のもとでも、本手法は有効である。
• 二次錐計画法ではなく線形計画法を用いることで、数値的実装が著しく高速化され、高次元モデルへのスケーリングが可能になる。
• 制限固有値条件よりも弱い感度条件のもとで理論的バインディングを確立し、本手法の適用範囲を広げた。