[論文レビュー] Sharp Restricted Isometry Bounds for the Inexistence of Spurious Local Minima in Nonconvex Matrix Recovery

Richard Y. Zhang, Somayeh Sojoudi+1 more|arXiv (Cornell University)|Jan 6, 2019

Sparse and Compressive Sensing Techniques被引用数 30

ひとこと要約

本稿は、非凸行列回復における鋭い制限等長性性質（RIP）バウンドを確立し、ランク1の行列に対してはδ < 1/2が、偽の局所的最小値の存在を保証するのに必要かつ十分であることを証明している。著者らは、反事後仮説の存在を否定するという新しい証明技法を導入し、タイトな閾値を導出しており、δ < 1/2のとき、任意の初期点からも正確な回復が保証されることを示している。また、望ましい初期条件のもとで局所的回復の保証も提供している。

ABSTRACT

Nonconvex matrix recovery is known to contain no spurious local minima under a restricted isometry property (RIP) with a sufficiently small RIP constant $\\delta$. If $\\delta$ is too large, however, then counterexamples containing spurious local minima are known to exist. In this paper, we introduce a proof technique that is capable of establishing sharp thresholds on $\\delta$ to guarantee the inexistence of spurious local minima. Using the technique, we prove that in the case of a rank-1 ground truth, an RIP constant of $\\delta&lt;1/2$ is both necessary and sufficient for exact recovery from any arbitrary initial point (such as a random point). We also prove a local recovery result: given an initial point $x_{0}$ satisfying $f(x_{0})\\le(1-\\delta)^{2}f(0)$, any descent algorithm that converges to second-order optimality guarantees exact recovery.

研究の動機と目的

• 非凸行列回復における偽の局所的最小値の不在に関する必要条件と十分条件の間のギャップを埋めること。
• 制限等長性性質（RIP）のもとでランク1行列センシング問題における正確な回復のための鋭い閾値を確立すること。
• 反例の存在を否定することで、必要かつ十分な条件を導出する新しい証明技法の開発。
• δ ≥ 1/2のときグローバル保証が失敗する場合でも、初期点の品質に基づく局所的回復保証を提供すること。
• ランク1問題においてδ < 1/2が必要かつ十分であることを証明することで、非凸最適化における行列回復の理論的理解を統合すること。

提案手法

• 著者らは、δ-RIPを満たし、偽の局所的最小値を含む反例の存在を否定するという、新しい証明戦略を導入している。
• 反例が存在するRIP定数の下界をδ*と定義し、δ < δ*であれば偽の局所的最小値が存在しないことを証明している。
• この手法は、行列H, e, Xおよびベクトルy, U₁, U₂, Vを含むプライマル・デュアル証明書系を構築・分析することで、妥当性条件を検証する。
• 高次元変数と低次元対応変数との関係を確立するために、射影行列Pとそのクーランダー積P⊗Pを用いている。
• 元の変数から射影された変数への変換のもとで、プライマルおよびデュアル妥当性方程式を検証するための重要な恒等式を導出している。
• 行列の直交性および半正定値性を活用して、ヘッセ行列および線形制約が必要な不等式を満たすことを確立している。

実験結果

リサーチクエスチョン

• RQ1 非凸行列回復におけるランク1の場合に、偽の局所的最小値が存在しない鋭いRIP定数δの閾値は何か？
• RQ2 偽の局所的最小値の不在に関する必要かつ十分な条件を導出する証明技法を開発できるか？
• RQ3 δ ≥ 1/2のとき、初期点の品質は回復保証にどのように影響するか？
• RQ4 δ = 1/2がグローバル保証が失敗する閾値である正確な値であり、それが厳密に証明可能か？
• RQ5 グローバル保証が失われた場合でも、望ましい初期条件のもとで局所的回復を保証できるか？

主な発見

• ランク1行列回復において、RIP定数δ < 1/2が、偽の局所的最小値の不在を保証するのに必要かつ十分である。
• δ < 1/2のとき、任意の初期点からでも、局所的最適化アルゴリズムが2次元臨界点に収束すれば、真の解を正確に回復できる。
• 閾値δ = 1/2は鋭い：δ ≥ 1/2のとき、偽の局所的最小値を含む反例が存在し、グローバル保証は失敗する。
• 局所的回復保証が確立された：初期点がf(x₀) ≤ (1−δ)²‖M⋆‖²_Fを満たすならば、下降アルゴリズムが2次元最適性に収束すればM⋆が回復される。
• 提案された証明技法は、δ = 1/2未満での反例の存在を否定することで、鋭い閾値を的確に特定できた。
• 従来知られていたδ < 1/5の境界はタイトではなく、ランク1問題における真の閾値はδ < 1/2であると確認された。