[論文レビュー] Sparse High-Dimensional Linear Regression. Algorithmic Barriers and a Local Search Algorithm

David Gamarnik, Ilias Zadik|arXiv (Cornell University)|Nov 14, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用数 14

ひとこと要約

この論文は、スパースな高次元線形回帰における根本的なアルゴリズム的ギャップを特定し、真のスパースベクトル β* の復元が情報理論的に可能となる最小標本サイズ n* ではありながら、n_alg ≈ k log p よりも前に効率的なアルゴリズムが成功しないことを示している。LASSO が n ∈ [n*, c n_alg] の範囲で β* を安定して復元できないことを証明し、n_alg におけるオーバーラップギャップ性質（OGP）の段階的転移がアルゴリズム的困難性を示している。最後に、n > C n_alg で C が十分に大きい場合に β* 及びそのサポートを正当に復元できるローカルサーチアルゴリズムを提案している。

ABSTRACT

We consider a sparse high dimensional regression model where the goal is to recover a $k$-sparse unknown vector $β^*$ from $n$ noisy linear observations of the form $Y=Xβ^*+W \in \mathbb{R}^n$ where $X \in \mathbb{R}^{n imes p}$ has iid $N(0,1)$ entries and $W \in \mathbb{R}^n$ has iid $N(0,σ^2)$ entries. Under certain assumptions on the parameters, an intriguing assymptotic gap appears between the minimum value of $n$, call it $n^*$, for which the recovery is information theoretically possible, and the minimum value of $n$, call it $n_{\mathrm{alg}}$, for which an efficient algorithm is known to provably recover $β^*$. In \cite{gamarnikzadik} it was conjectured that the gap is not artificial, in the sense that for sample sizes $n \in [n^*,n_{\mathrm{alg}}]$ the problem is algorithmically hard. We support this conjecture in two ways. Firstly, we show that the optimal solution of the LASSO provably fails to $\ell_2$-stably recover the unknown vector $β^*$ when $n \in [n^*,c n_{\mathrm{alg}}]$, for some sufficiently small constant $c>0$. Secondly, we establish that $n_{\mathrm{alg}}$, up to a multiplicative constant factor, is a phase transition point for the appearance of a certain Overlap Gap Property (OGP) over the space of $k$-sparse vectors. The presence of such an Overlap Gap Property phase transition, which originates in statistical physics, is known to provide evidence of an algorithmic hardness. Finally we show that if $n>C n_{\mathrm{alg}}$ for some large enough constant $C>0$, a very simple algorithm based on a local search improvement rule is able both to $\ell_2$-stably recover the unknown vector $β^*$ and to infer correctly its support, adding it to the list of provably successful algorithms for the high dimensional linear regression problem.

研究の動機と目的

• スパースな高次元線形回帰における情報理論的復元（n*）とアルゴリズム的復元（n_alg）のギャップを理解すること。
• n* と n_alg のギャップが現在のアルゴリズムの限界によるものか、それとも本質的なアルゴリズム的困難性を反映しているかを調査すること。
• n ∈ [n*, c n_alg] の範囲（c > 0 が小さい）で LASSO がなぜ β* を安定して復元できないかを分析すること。
• n_alg におけるオーバーラップギャップ性質（OGP）の存在を確立し、アルゴリズム的非効率性を示唆すること。
• n > C n_alg で β* 及びそのサポートを正当に復元できるローカルサーチアルゴリズムを設計・分析すること（C は十分に大きい）。

提案手法

• i.i.d. N(0,1) の要素を持つ測定行列 X ∈ ℝ^{n×p} とノイズ W ∼ N(0,σ²I) を用いた確率的解析により、高次元回帰をモデル化する。
• n ∈ [n*, c n_alg] の範囲で LASSO推定量が ℓ₂ ステーブル復元を達成できないことを証明し、σ 水準の誤差内で β* に収束しないことを示す。
• k スパースベクトルの空間におけるオーバーラップギャップ性質（OGP）を導入し、n_alg ≈ k log p で出現することを示し、アルゴリズム的困難性を示唆する。
• 濃度不等式と指数モーメントの境界を用いて、解空間内でのスパースベクトルの近傍のサイズを制御する。
• 反復的改善ルールに基づくローカルサーチアルゴリズムを提案し、候補解の ℓ₂ 近傍を探索することで局所最適解からの脱出を図る。
• n > C n_alg で C > 0 が十分に大きい場合、このローカルサーチアルゴリズムが高確率で ℓ₂ ステーブル復元および正しくサポートを復元することを証明する。

実験結果

リサーチクエスチョン

• RQ1 スパースな高次元回帰における情報理論的復元（n*）とアルゴリズム的復元（n_alg）のギャップは、現在のアルゴリズムの限界によるものか、それとも根本的なアルゴリズム的障壁を反映しているのか？
• RQ2 n ∈ [n*, c n_alg] の範囲（c > 0 が小さい）で LASSO 推定量は β* を安定して復元できないのか？
• RQ3 n_alg におけるオーバーラップギャップ性質（OGP）の存在が、この問題におけるアルゴリズム的困難性の証拠となるか？
• RQ4 シンプルなローカルサーチアルゴリズムは、LASSO のような凸緩和法の制限を克服し、n > C n_alg の範囲で β* を復元できるか？
• RQ5 ローカルサーチアルゴリズムが β* のサポートおよび ℓ₂ ノルムを正当に復元できるようになる、正確な標本サイズ n の閾値は何か？

主な発見

• n ∈ [n*, c n_alg] で c > 0 が十分に小さい場合、LASSO 推定量は β* の ℓ₂ ステーブル復元を正当に失敗する。情報理論的に復元可能であるにもかかわらずである。
• n_alg ≈ k log p は、k スパースベクトルの空間におけるオーバーラップギャップ性質（OGP）の段階的転移を示し、この範囲でのアルゴリズム的困難性を強く示唆する。
• C が十分に大きい場合、反復的近傍改善に基づくローカルサーチアルゴリズムは、n > C n_alg の範囲で β* の ℓ₂ ステーブル復元を正当に達成する。
• 同様のローカルサーチアルゴリズムは、n > C n_alg の範囲で高確率で β* のサポートを正しく推定する。
• n_alg における OGP の段階的転移は、スパース解空間の内在的幾何構造と強く関連しており、効率的復元に対する根本的障壁を示唆する。
• 解析により、n_alg は定数倍のオーダーでタイトであることが示された：それより小さいと、効率的なアルゴリズムが知られておらず OGP が探索を妨げる。それより大きいと、シンプルなローカルサーチが成功する。