[論文レビュー] CoCoLasso for High-dimensional Error-in-variables Regression

Abhirup Datta, Hui Zou|arXiv (Cornell University)|Oct 24, 2015

Statistical Methods and Inference参考文献 23被引用数 6

ひとこと要約

この論文は、計画行列と応答ベクトルの不偏な代替統計量を構築することで、加法的測定誤差と欠損データを扱う高次元誤差変数回帰のための凸最適化手法CoCoLassoを提案する。推定誤差の境界と符号一致する変数選択を確立し、測定誤差によるバイアスを軽減する修正された交差検証技術を導入し、シミュレーションでは非凸な代替手法を上回る性能を示す。

ABSTRACT

Much theoretical and applied work has been devoted to high-dimensional regression with clean data. However, we often face corrupted data in many applications where missing data and measurement errors cannot be ignored. Loh and Wainwright (2012) proposed a non-convex modification of the Lasso for doing high-dimensional regression with noisy and missing data. It is generally agreed that the virtues of convexity contribute fundamentally the success and popularity of the Lasso. In light of this, we propose a new method named CoCoLasso that is convex and can handle a general class of corrupted datasets including the cases of additive measurement error and random missing data. We establish the estimation error bounds of CoCoLasso and its asymptotic sign-consistent selection property. We further elucidate how the standard cross validation techniques can be misleading in presence of measurement error and develop a novel corrected cross-validation technique by using the basic idea in CoCoLasso. The corrected cross-validation has its own importance. We demonstrate the superior performance of our method over the non-convex approach by simulation studies.

研究の動機と目的

• 測定誤差や欠損値によって汚染された高次元データに標準Lassoを適用する際の限界を解決すること。
• Lassoの望ましい性質を維持しながら、データの汚染に強い凸最適化手法を開発すること。
• 高次元設定下で測定誤差が原因で生じる標準的交差検証のバイアスを是正すること。
• 提案手法の推定誤差の境界と符号一貫性のある変数選択といった理論的保証を確立すること。
• シミュレーションを通じて、CoCoLassoがLohとWainwrightの手法のような非凸的手法を推定精度および変数選択の両面で上回ることを示すこと。

提案手法

• CoCoLassoは、測定誤差のある計画行列$Z$と既知の誤差分散$\tau^2$を用いて、$\widehat{\Sigma} = \frac{1}{n}Z^\top Z - \tau^2 I$と$\tilde{\rho} = \frac{1}{n}Z^\top y$という不偏な代替統計量を用い、Lasso目的関数内の真の$X^\top X$および$X^\top y$に置き換える。
• 凸最適化問題として定式化される：$\min \frac{1}{2}\beta^\top \widehat{\Sigma}\beta - \tilde{\rho}^\top \beta + \lambda \|\beta\|_1$。これにより凸性とグローバル最適性が保証される。
• スパarsityを強制するためにしきい値処理演算子を用いた、$A_{i+1}$、$B_{i+1}$、$\Lambda_{i+1}$の交互更新に基づくADMMアルゴリズムを採用する。
• 正定値制約を$\epsilon$-正則化投影$A_{i+1} = (B_i + \widehat{\Sigma} + \mu\Lambda_i)_\epsilon$により組み込み、凸性を維持する。
• 測定誤差モデルを検証プロセスに組み込むことで、ナードCVによる誤った結果を避ける、新たな修正交差検証技術を考案。
• 理論的分析では、サブガウス型誤差を仮定し、集中不等式を用いて推定誤差と変数選択の一貫性に関する高確率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 測定誤差と欠損データ下でも、Lassoの統計的・計算的利点を保ちつつ、高次元回帰のための凸定式化を構築できるか？
• RQ2 加法的測定誤差下で、標本サイズ、次元数、ノイズレベルが変動する際、CoCoLassoの推定誤差はどのようにスケーリングされるか？
• RQ3 計画行列が汚染されている状況下でも、高次元漸近的条件下でCoCoLassoは符号一貫性のある変数選択を達成できるか？
• RQ4 測定誤差が存在する状況で、標準的交差検証はなぜ失敗するのか？ また、CoCoLassoフレームワークを用いて修正されたバージョンを構築できるか？
• RQ5 有限標本下で、CoCoLassoの経験的性能はLohとWainwrightの手法のような非凸的手法と比べてどうなるか？

主な発見

• サブガウス型ノイズと既知の測定誤差分散下で、CoCoLassoは非漸近的推定誤差境界$O(\sqrt{s \log p / n})$を達成する。
• この手法は高い確率で符号一貫性のある変数選択を保証し、高次元設定下で非ゼロ係数の符号を正しく同定する。
• CoCoLassoフレームワークから導出された修正交差検証は、測定誤差によって引き起こされる過学習や選択バイアスを防ぐが、標準的CVではそのような問題が生じる。
• シミュレーション研究では、特にノイズが強く欠損データが存在する状況下で、CoCoLassoが非凸的Loh-Wainwright手法を推定精度および変数選択の両面で上回ることが示された。
• CoCoLassoのADMMベースのアルゴリズムは信頼性高く収束し、凸性を維持する。これにより、従来の非凸的手法が抱える非凸性や無限大への発散の問題を回避できる。
• 理論的結果は一般のサブガウス型誤差仮定のもとで成り立ち、集中不等式を用いて代替統計量の真の値からの逸脱をバインドする。