[論文レビュー] The Overlap Gap Property in Principal Submatrix Recovery

David Gamarnik, Aukosh Jagannath+1 more|arXiv (Cornell University)|Aug 26, 2019

Random Matrices and Applications参考文献 78被引用数 15

ひとこと要約

本稿は、平均が $\lambda/N$ の上昇した $k \times k$ の部分行列を埋め込んだ高次元ガウスランダム行列における主成分部分行列回復問題を研究する。支持集合回復のための鋭い情報理論的および計算的閾値を確立し、最大尤度推定（MLE）が $\lambda \gtrsim \sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}$ のとき成功することを証明する。一方、$\rho$ が小さい場合、局所的MCMCアルゴリズムをブロックする重なりギャップ性質（OGP）によって、統計的・計算的ギャップが生じる。スペクトル法は $\lambda > 1/\rho$ のとき回復を達成する。本研究は、スパース部分行列検出におけるアルゴリズム的困難さを厳密に裏付けるものである。

ABSTRACT

We study support recovery for a $k imes k$ principal submatrix with elevated mean $λ/N$, hidden in an $N imes N$ symmetric mean zero Gaussian matrix. Here $λ>0$ is a universal constant, and we assume $k = N ρ$ for some constant $ρ\in (0,1)$. We establish that {there exists a constant $C>0$ such that} the MLE recovers a constant proportion of the hidden submatrix if $λ{\geq C} \sqrt{\frac{1}ρ \log \frac{1}ρ}$, {while such recovery is information theoretically impossible if $λ= o( \sqrt{\frac{1}ρ \log \frac{1}ρ} )$}. The MLE is computationally intractable in general, and in fact, for $ρ>0$ sufficiently small, this problem is conjectured to exhibit a \emph{statistical-computational gap}. To provide rigorous evidence for this, we study the likelihood landscape for this problem, and establish that for some $\varepsilon>0$ and $\sqrt{\frac{1}ρ \log \frac{1}ρ } \ll λ\ll \frac{1}{ρ^{1/2 + \varepsilon}}$, the problem exhibits a variant of the \emph{Overlap-Gap-Property (OGP)}. As a direct consequence, we establish that a family of local MCMC based algorithms do not achieve optimal recovery. Finally, we establish that for $λ> 1/ρ$, a simple spectral method recovers a constant proportion of the hidden submatrix.

研究の動機と目的

• $N \times N$ ガウス行列における隠れた $k \times k$ 主成分部分行列のサポート集合回復のための鋭い閾値を確立すること。
• 部分行列がスパースである場合（$k = N\rho$, $\rho \to 0$）に、統計的・計算的ギャップが存在するかを調査すること。
• 重なりギャップ性質（OGP）を用いた尤度関数の構造解析により、アルゴリズム的困難さの厳密な証拠を提供すること。
• パラメータ領域 $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ において、局所的MCMCアルゴリズムが最適な回復を達成できないことを示すこと。
• スペクトル法が $\lambda > 1/\rho$ のとき定数割合の回復を達成できることを示し、計算的に実行可能な代替手法を提供すること。

提案手法

• 著者らはスピンガラス理論と確率的制御の道具を用いて、部分行列回復問題の尤度関数の構造を分析する。
• 特に $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ の領域で重なりギャップ性質（OGP）の存在を確立し、これは通常の解が重なりの観点で大きく分離されていることを示す。
• 自由エネルギーの変分表現と、測度とパラメータの上での関数 $\mathcal{P}$ における凸性の議論により、OGPを導出する。
• 動的計画法と伊藤の補題を用いて、制御された拡散過程の軌道の分散を分析し、値関数の厳密な凸性を示す。
• 二つの異なる測度 $\nu_1$ と $\nu_2$ 間の比較により、関数 $\mathcal{P}$ が $\mathcal{A}_0 \times \mathbb{R}$ 上で厳密に凸であることを示し、これによりOGP構造が導かれる。
• 著者らは、OGPが局所的MCMCアルゴリズムが局所最適解から脱出できないことを示し、したがって困難領域では最適な回復に到達できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 大規模な $N \times N$ ガウス行列における平均 $\lambda/N$ の $k \times k$ 主成分部分行列のサポート集合回復のための情報理論的閾値は何か？
• RQ2 部分行列がスパースである場合（$k = N\rho$, $\rho \to 0$）に、この部分行列回復問題に統計的・計算的ギャップが存在するか？
• RQ3 回復が情報理論的に可能であるが計算的に困難な領域で、重なりギャップ性質（OGP）を厳密に確立できるか？
• RQ4 なぜ局所的MCMCアルゴリズムは特定のパrameter領域において隠れた部分行列を回復できないのか。この失敗を説明する構造的性質は何か？
• RQ5 MLEが計算的に非実行可能となる領域において、スペクトル法が最適な回復を達成できるか？

主な発見

• MLEは $\lambda \geq C\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}$（$C > 0$）のとき、隠れた部分行列の定数割合を回復でき、鋭い情報理論的閾値を確立する。
• 支持集合回復は $\lambda = o\left(\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}\right)$ のとき情報理論的に不可能であり、閾値のタイトさが確認される。
• $\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}} \ll \lambda \ll \frac{1}{\rho^{1/2+\varepsilon}}$ の領域では、問題に重なりギャップ性質（OGP）が現れ、統計的・計算的ギャップを示す。
• OGPは局所的MCMCベースのアルゴリズムが最適な回復に到達できないことを示し、この領域におけるアルゴリズム的困難さの厳密な証拠を提供する。
• $\lambda > 1/\rho$ のとき、単純なスペクトル法が隠れた部分行列の定数割合を回復でき、計算的に実行可能な代替手法を提供する。
• OGP構造は、確率的制御問題における値関数の凸性に起因し、異なるドリフトを持つ制御された拡散過程の分散と関連している。