[論文レビュー] High-dimensional regression with noisy and missing data: Provable guarantees with nonconvexity

Po‐Ling Loh, Martin J. Wainwright|ScholarlyCommons (University of Pennsylvania)|Sep 16, 2011

Sparse and Compressive Sensing Techniques参考文献 23被引用数 51

ひとこと要約

本稿では、ノイズ、欠損、相関のあるデータのもとで高次元スパース線形回帰を扱う非凸最適化フレームワークを提案する。投影勾配降下法を用いて統計的精度に到達する。非凸な目的関数に対しても、最適解の近傍への幾何的収束が保証され、誤差境界は最小最大レートと一致する。

ABSTRACT

Although the standard formulations of prediction problems involve fully-observed and noiseless data drawn in an i.i.d. manner, many applications involve noisy and/or missing data, possibly involving dependence, as well. We study these issues in the context of high-dimensional sparse linear regression, and propose novel estimators for the cases of noisy, missing and/or dependent data. Many standard approaches to noisy or missing data, such as those using the EM algorithm, lead to optimization problems that are inherently nonconvex, and it is difficult to establish theoretical guarantees on practical algorithms. While our approach also involves optimizing nonconvex programs, we are able to both analyze the statistical error associated with any global optimum, and more surprisingly, to prove that a simple algorithm based on projected gradient descent will converge in polynomial time to a small neighborhood of the set of all global minimizers. On the statistical side, we provide nonasymptotic bounds that hold with high probability for the cases of noisy, missing and/or dependent data. On the computational side, we prove that under the same types of conditions required for statistical consistency, the projected gradient descent algorithm is guaranteed to converge at a geometric rate to a near-global minimizer. We illustrate these theoretical predictions with simulations, showing close agreement with the predicted scalings.

研究の動機と目的

• 説明変数にノイズ、欠損、相関がある状況下での高次元スパース線形回帰の課題に対処すること。
• 古典的な最小最大レートに一致する統計的一致性を保つ推定器の開発。
• 非凸性が存在するにもかかわらず最適化アルゴリズムの正当な収束保証を提供すること。
• 欠損データを伴うスパースガウス graphical モデル選択へのフレームワークの拡張。
• サブガウス分布または弱い相関を持つデータの仮定のもとで理論的保証を維持すること。

提案手法

• 腐敗した説明変数を伴う高次元回帰のための $β$-制約付き $\ell_1$-正則化 M-推定量の定式化。
• 非凸な目的関数を最適化するために投影勾配降下法を用い、近似的なグローバル最小解への収束保証を付与。
• 統計的誤差と最適化誤差の分解を組み合わせた新規解析により誤差境界を確立。
• サブガウス分布または弱い相関を持つ設計行列のもとで、損失関数の制限付き強い凸性および滑らかさの性質を活用。
• 尤度をモデル化し、損失関数に欠損補正を施すことにより、欠損データへの対応を実施。
• 統計的一致性を保証するのと同じ条件下で、アルゴリズムが幾何的収束することを証明。

実験結果

リサーチクエスチョン

• RQ1 高次元回帰における非凸最適化手法は、データにノイズや欠損がある場合でも統計的精度を維持できるか？
• RQ2 非凸な目的関数のもとで、投影勾配降下法はグローバル最適解の統計的精度内に収束するか？
• RQ3 設計行列にどのような条件が課されると、統計的一致性と最適化アルゴリズムの高速収束が両立されるか？
• RQ4 提案手法は、腐敗または欠損のある説明変数を伴う回帰で最小最大最適誤差率を達成できるか？
• RQ5 本手法は、欠損データを伴う高次元グラフィカルモデル選択へどのように拡張できるか？

主な発見

• 投影勾配降下法は、統計的誤差に依存するレートで、グローバル最小解の近傍へ幾何的収束する。
• i.i.d. サブガウス分布設計のもとで、推定器の統計的誤差は最小最大レートと一致する。ノイズや欠損データがあっても同様。
• 欠損データを伴う高次元スパース線形回帰では、高確率で $\ell_2$-誤差が $\mathcal{O}(\sqrt{k \log p / n})$ のオーダーに達する。
• 統計的一致性を保証するのと同じ条件下で、アルゴリズムは多項式時間内に収束することが保証される。
• フレームワークは、欠損データを伴うスパースガウス graphical モデル選択へ拡張可能であり、i.i.d. データと同等のスペクトルノルム誤差レートを達成する。
• 合成許容誤差パラメータ $\varepsilon^2$ は $\mathcal{O}(\|\widehat{\beta} - \beta^*\|_2^2)$ で有界であり、統計的精度への収束を保証する。