[論文レビュー] No Spurious Local Minima in Nonconvex Low Rank Problems: A Unified Geometric Analysis

Rong Ge, Chi Jin+1 more|arXiv (Cornell University)|Apr 3, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用数 221

ひとこと要約

本論文は、非凸の低ランク行列問題（行列センシング、行列完成、ロバストPCA）が虚偽的な局所最小をもたず、厳密なサドル特性を示す統一的な幾何学的枠組みを提示し、単純なアルゴリズムのグローバル収束を可能にする。

ABSTRACT

In this paper we develop a new framework that captures the common landscape underlying the common non-convex low-rank matrix problems including matrix sensing, matrix completion and robust PCA. In particular, we show for all above problems (including asymmetric cases): 1) all local minima are also globally optimal; 2) no high-order saddle points exists. These results explain why simple algorithms such as stochastic gradient descent have global converge, and efficiently optimize these non-convex objective functions in practice. Our framework connects and simplifies the existing analyses on optimization landscapes for matrix sensing and symmetric matrix completion. The framework naturally leads to new results for asymmetric matrix completion and robust PCA.

研究の動機と目的

• 非凸の低ランク行列問題における最適化風景の理解を促す。
• 行列センシング、完成、ロバストPCAにおいて、局所 minima がグローバルとなる条件とサドルが厳密である場合を説明する統一的枠組みを開発する。
• 既存の解析を結び付け簡略化し、非対称設定およびロバストな設定へ結果を拡張する。
• 勾配降下法や局所探索などの単純な最適化手法の効率性への影響を提供する。

提案手法

• 低ランク行列を因子分解 M = UV^T によってモデル化し、非対称設定での不変性を管理するための正則化項を追加する。
• M に対する f のヘシアンを二次構造として確立し、統一的なヘシアンベースの風景フレームワークを用いて解析する。
• 改善を研究するための単一のアラインメントベースの方向 Delta を定義し、勾配・ヘシアン・真の解を結ぶ主恒等式を導出する。
• 制限付き等距性特性（RIP）と非相関性条件を用いて、すべての局所極小が真の低ランク解と一致することを示す。
• このフレームワークを非対称問題と pseudo-strict saddle 分析を伴うロバストPCAへ拡張する。
• 正則化項が可行領域を制御し、良い領域内でヘシアンがノルムを保存するように機能させ、風景解析と摂動に対する安定性を促進する。

実験結果

リサーチクエスチョン

• RQ1 行列センシング、行列完成、ロバストPCAは、すべての局所極小がグローバルに最適となる共通の最適化風景を共有するのか？
• RQ2 これらの問題に対して、虚偽の局所最小の不存在を証明し、厳密なサドル特性を確立する統一的幾何学的枠組みは作れるのか？
• RQ3 正則化項と非相関/ RIP 条件が、特に非対称でノイズがある設定において、有利な風景特性を保証するようにどのように相互作用するのか？
• RQ4 この枠組みの下で、非対称およびロバストPCAの問題を対称的な PSD 形に還元できるのか？
• RQ5 提案された枠組みの下で、単純な最適化手法の収束性に対するアルゴリズム的含意は何か？

主な発見

• 行列センシング、行列完成、ロバストPCA において、すべての局所極小はグローバルに最適であり、すべてのサドル点はヘシアンの固有値が厳密に負である（ロバスト厳密サドル性）特性を持つ。
• 統一的な枠組みは、これらの問題が類似した最適化風景を共有することを示し、なぜ単純なアルゴリズムがしばしば正しい低ランク解へ収束するのかを説明する。
• 正則化項は反復を有利な領域に保ち、ヘシアンがその領域内でノルムを保存するように機能させ、風景解析と摂動に対する安定性を促進する。
• このフレームワークは非対称行列完成およびロバストPCAに対する新しい結果を生み出し、非対称問題を対称PSD形に還元する原理的な方法を提供する。
• 系外的には、局所探索法は任意の初期化から多項式時間でターゲットの低ランク因子を高確率で見つけられることを示す（ノイズなし設定で；ノイズ設定にも拡張可能）。