[論文レビュー] An $\{l_1,l_2,l_{\infty}\}$-Regularization Approach to High-Dimensional Errors-in-variables Models

Alexandre Belloni, Mathieu Rosenbaum+1 more|arXiv (Cornell University)|Dec 22, 2014

Statistical Methods and Inference参考文献 10被引用数 4

ひとこと要約

本稿は、誤差付き変数を伴う高次元線形回帰に対する2つの新しい推定器を提案する。$β_1$, $β_2$, および $β_∞$-ノルム正則化を統合することで、頑健性を向上させる。主な貢献は、誤差分散の正確なパイLOT推定値を必要とせず、設計誤差分布に対する弱い仮定のもとでも最適な収束速度を達成できることである。

ABSTRACT

Several new estimation methods have been recently proposed for the linear regression model with observation error in the design. Different assumptions on the data generating process have motivated different estimators and analysis. In particular, the literature considered (1) observation errors in the design uniformly bounded by some $\bar δ$, and (2) zero mean independent observation errors. Under the first assumption, the rates of convergence of the proposed estimators depend explicitly on $\bar δ$, while the second assumption has been applied when an estimator for the second moment of the observational error is available. This work proposes and studies two new estimators which, compared to other procedures for regression models with errors in the design, exploit an additional $l_{\infty}$-norm regularization. The first estimator is applicable when both (1) and (2) hold but does not require an estimator for the second moment of the observational error. The second estimator is applicable under (2) and requires an estimator for the second moment of the observation error. Importantly, we impose no assumption on the accuracy of this pilot estimator, in contrast to the previously known procedures. As the recent proposals, we allow the number of covariates to be much larger than the sample size. We establish the rates of convergence of the estimators and compare them with the bounds obtained for related estimators in the literature. These comparisons show interesting insights on the interplay of the assumptions and the achievable rates of convergence.

研究の動機と目的

• 説明変数に測定誤差を伴う高次元回帰における標準的LassoやDantzig選択子の不安定性を解消する。
• 設計誤差が一様に有界でない場合や、誤差分散の正確な推定ができない場合でも一貫性を保つ推定器を開発する。
• 誤差構造に関する最小限の仮定のもとで推定誤差の収束速度に関する理論的保証を提供する。
• $\ell_1$, $\ell_2$, $\ell_\infty$ の異なるノルム正則化の相互作用とその収束速度への影響を調査する。
• 類似の仮定のもとで、既存手法と比較して同等または優れた収束速度を達成するが、特に誤差分散の正確な推定ができない状況でも最適な収束速度を達成する。

提案手法

• $\ell_1$-ノルムのスパarsity正則化と、残差および設計誤差項の$\ell_\infty$-ノルム制約を組み合わせた新しい推定器を提案する。
• パラメータおよび残差ベクトルに対する$\ell_1$, $\ell_2$, $\ell_\infty$-ノルム制約によって定義される可能な集合を含む、実行可能な最適化問題を導入する。
• 双対的アプローチを用いて、設計行列および誤差項の$\ell_\infty$-ノルムを制御することで、推定誤差の上限を導出する。
• 誤差分散$\sigma_j^2$のパイLOT推定値を組み込むが、従来の手法とは異なり、その正確性を要しない。
• 確率的集中不等式および$\ell_\infty$-ノルムのランダム行列に対するチェイニング論法を用いて、推定誤差の高確率的境界を確立する。
• 最適化問題のための実行可能集合を定義し、解がパラメータおよび残差ベクトルの$\ell_1$, $\ell_2$, $\ell_\infty$ ノルムに関する制約を満たすように保証する。

実験結果

リサーチクエスチョン

• RQ1 $\ell_1$, $\ell_2$, $\ell_\infty$-正則化の統合フレームワークは、高次元誤差付き変数モデルにおける推定安定性を向上させ得るか？
• RQ2 設計誤差が一様に有効でなく、誤差分散の推定精度が低い状況でも、達成可能な最適な収束速度は何か？
• RQ3 $\ell_\infty$-ノルム正則化の導入は、標準的な$\ell_1$-ベースの手法と比較して推定器の頑健性にどのように影響を与えるか？
• RQ4 誤差分散が既知または正確に推定されていなくても、提案手法の推定器は最適な収束速度を達成可能か？
• RQ5 高次元設定において、$\ell_\infty$-ノルム正則化の強さとそれに伴う推定誤差の理論的トレードオフは何か？

主な発見

• 提案された推定器は、$1 \leq q \leq \infty$ に対して $\ell_q$-ノルムで $O(s^{1/q}\sqrt{\log p / n})$ の収束速度を達成し、文献に知られる最良のレートと一致する。
• 誤差分散の推定が正確でなくても、設計誤差が一様に有界でない場合でも推定器は一貫性を保つ。
• $\ell_\infty$-ノルム正則化により、誤差分布に強い仮定を必要とせずに、測定誤差に起因する最悪のバイアスを制御できる。
• 誤差分散推定器が一貫性がなくても最適な収束速度を達成でき、従来の手法とは異なり、正確な分散推定に依存しない。
• 理論的境界は、$\ell_\infty$-ノルム正則化が、重尾的または相関のある測定誤差が推定性能に与える影響を軽減することを示している。
• 解析により、誤差の2次モーメントが有限で、設計行列に弱い依存性があるという最小限の仮定のもとでも、推定器が頑健であることが示された。