[論文レビュー] Linear and Conic Programming Estimators in High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum+1 more|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Inference参考文献 26被引用数 64

ひとこと要約

本稿では、独立同分布のノイズを伴って観測される共変量を有する高次元誤差項付き回帰モデルに対して、補正付き行列不確実性（MU）選択子を提案する。ノイズ分散のデータ駆動型推定値を2次錐計画法の定式化に組み込むことで、スパarsityのもとで最小最大最適収束速度を達成し、測定誤差が存在する中でも信頼性の高い高次元推論を可能にする。

ABSTRACT

We consider the linear regression model with observation error in the design. In this setting, we allow the number of covariates to be much larger than the sample size. Several new estimation methods have been recently introduced for this model. Indeed, the standard Lasso estimator or Dantzig selector turn out to become unreliable when only noisy regressors are available, which is quite common in practice. We show in this work that under suitable sparsity assumptions, the procedure introduced in Rosenbaum and Tsybakov (2013) is almost optimal in a minimax sense and, despite non-convexities, can be efficiently computed by a single linear programming problem. Furthermore, we provide an estimator attaining the minimax efficiency bound. This estimator is written as a second order cone programming minimisation problem which can be solved numerically in polynomial time.

研究の動機と目的

• 共変量に測定誤差が存在する高次元誤差項付き回帰モデルにおいて、標準的なLassoやDantzig選択子が失敗することの原因を解明する。
• 共変量の数 $ p $ が標本サイズ $ n $ を超える状況においても、スパarsityのもとで一貫性と効率性を保つ強固な推定手順を開発する。
• ノイズのある設計行列が引き起こすバイアスを、推定されたノイズ分散 $ \hat{\sigma}_j^2 $ を推定フレームワークに組み込むことで補正する。
• スパarsity仮定のもとで、提案された推定量の最小最大最適性を確立し、$ \ell_q $-ノルムにおける最適収束速度を達成する。
• 2次錐計画法（SOCP）を用いて効率的な計算を実現し、多項式時間内での解法を保証する。

提案手法

• 2次錐計画法の解として定義される補正付きMU選択子を提案する：$ \min |\theta|_1 $ において $ \left| \frac{1}{n}Z^T(y - Z\theta) + \widehat{D}\theta \right|_\infty \leq \mu|\theta|_1 + \tau $ を満たすもので、$ \widehat{D} $ は推定ノイズ分散の対角行列である。
• ノイズ分散 $ \sigma_j^2 = \frac{1}{n}\sum_i \mathbb{E}[W_{ij}^2] $ のためのデータ駆動型推定量 $ \widehat{\sigma}_j^2 $ を用いる。この手法は欠損データや繰り返し測定が存在するモデルにも適用可能である。
• 設計行列 $ W $ による $ Z^T Z / n $ のバイアスを補正するため、残差項に $ \widehat{D}\theta $ を加える。
• 推定量を2次錐計画法（SOCP）として定式化し、多項式時間内での数値的解法を可能にする。
• 一般化Fanoの補題を用いた非漸近的解析を通じて、分離が制御された多数の仮説を構成することで、最小最大最適性を確立する。
• Kullback-Leibler距離と固有値の上限を用いて、仮説間の分離を制御し、推定誤差の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 設計行列に測定誤差が存在する状況でも、高次元推定量が最小最大最適性を維持できるか？
• RQ2 共変量のノイズ分散をどのように推定・補正すれば、推定精度が向上するか？
• RQ3 誤差項付きのスパース高次元モデルにおいて、$ \ell_q $-ノルムにおける最小最大最適収束速度を達成することは可能か？
• RQ4 得られる推定量を凸最適化手法を用いて効率的に計算できるか？
• RQ5 このモデルにおける推定精度の根本的限界は何か？ そして、提案手法はその限界に達しているか？

主な発見

• 提案された補正付きMU選択子は、$ \ell_q $-ノルムにおける最小最大最適収束速度を達成する：高確率で $ |\hat{\theta}^C - \theta^*|_q \leq C s^{1/q} \sqrt{\frac{\log p}{n}} (|\theta^*|_1 + 1) $ が成り立つ。
• 推定量は2次錐計画法（SOCP）として定式化されており、多項式時間で解けるため、計算効率が保証される。
• データ駆動型の $ \sigma_j^2 $ の推定値を用いて $ Z^T Z / n $ のバイアスを補正することで、最小最大最適性を達成する。この推定手法は欠損データや繰り返し測定が存在するモデルでも適用可能である。
• 下界解析により、推定量の収束速度が理論的最小最大下界と一致することが確認され、最適性が裏付けられる。
• 分離が制御された多数の仮説集合とKL距離の構築により、与えられたスパarsityおよびノイズ仮定のもとで、いかなる推定量もより速い収束速度を達成できないことが保証される。
• 元のMU選択子がノイズが小さい場合にしか機能しないのとは異なり、本手法はノイズレベルが大きくても効果を発揮する。