[論文レビュー] Non-square matrix sensing without spurious local minima via the Burer-Monteiro approach

Dohyung Park, Anastasios Kyrillidis+2 more|arXiv (Cornell University)|Sep 11, 2016

Matrix Theory and Algorithms被引用数 37

ひとこと要約

本稿は、非正方行列のセンシングにおいてBurer-Monteiro因子分解 $UV^\top$ を用いる場合、制限等長性（RIP）が $\delta_{4r} \leq \frac{1}{100}$ を満たす限り、偽の局所的最小値が存在しないことを確立している。これにより勾配ベースの手法がグローバルに収束することが保証される。本研究は、従来の正方行列・正定値半行列に関する結果を、より一般的な非正方行列の場合に拡張するものであり、正則化された最適化フレームワークと厳密な鞍点性質の分析を用いている。

ABSTRACT

We consider the non-square matrix sensing problem, under restricted isometry property (RIP) assumptions. We focus on the non-convex formulation, where any rank-$r$ matrix $X \\in \\mathbb{R}^{m \ imes n}$ is represented as $UV^\ op$, where $U \\in \\mathbb{R}^{m \ imes r}$ and $V \\in \\mathbb{R}^{n \ imes r}$. In this paper, we complement recent findings on the non-convex geometry of the analogous PSD setting [5], and show that matrix factorization does not introduce any spurious local minima, under RIP.

研究の動機と目的

• 非凸的Burer-Monteiro因子分解 $UV^\top$ が非正方行列センシングにおいて偽の局所的最小値を導入するかどうかを解明すること。
• 正方行列・正定値半行列に適用された偽の最小値の不在に関する結果を、一般の非正方行列・低ランク行列に拡張すること。
• 非正方設定において、勾配降下法が厳密な鞍点性質を満たす場合にグローバル収束することを確立すること。
• RIPのもとでの非正方行列センシングの最適化の形状について、きめ細やかな幾何的分析を提供すること。
• グローバル収束を保証する良好な曲率性質を持つようにするための正則化目的関数を導入・分析すること。

提案手法

• 非正方行列センシング問題を、$U \in \mathbb{R}^{m \times r}$ および $V \in \mathbb{R}^{n \times r}$ における非凸的かつ双線形な最適化問題に再定式化する。
• 因子化空間における良好な幾何的性質を保証するため、正則化目的関数 $f(UV^\top) + g(U,V)$ を導入する。
• 曲率およびヘッセ行列の振る舞いを制御するために、$\delta_{4r} \leq \frac{1}{100}$ を満たす制限等長性（RIP）を用いる。
• 正則化目的関数のヘッセ行列を分析し、厳密な鞍点性質（すべての非グローバルな停留点が負の曲率を持つこと）を証明する。
• ヘッセ行列の最小固有値を下から抑えるために、$Z = W - W^\star R$ を用いた特定の降下方向を構築する。
• 行列摂動理論およびフロベニウスノルムの不等式を用いて、ヘッセ行列の最小固有値に対する定量的下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 RIPのもとで、非正方行列センシングにおけるBurer-Monteiro因子分解 $UV^\top$ は偽の局所的最小値を導入するか？
• RQ2 非正方・低ランク行列センシング問題において、厳密な鞍点性質を確立できるか？
• RQ3 非最適な停留点におけるヘッセ行列の最小固有値は何か？また、ランク$ r $行列の最小特異値 $\sigma_r(X^\star)$ とどのように関係するか？
• RQ4 正則化目的関数は、非正方設定においてすべての局所的最小値がグローバル最小値であることをどのように保証するか？
• RQ5 導出された曲率条件のもとで、勾配降下法は鞍点を脱出し、グローバルに収束することができるか？

主な発見

• RIPのもとで $\delta_{4r} \leq \frac{1}{100}$ を満たす非凸的Burer-Monteiro定式化において、非正方行列センシングには偽の局所的最小値が存在しない。
• すべての非グローバル停留点は $\lambda_{\min}(\nabla^2(f+g)) \leq -\frac{1}{7} \cdot \sigma_r(X^\star)$ を満たし、厳密な鞍点性質が確認された。
• 停留点 $W$ が $UV^\top \neq X^\star$ を満たす場合、ヘッセ行列の負の曲率は $\frac{1}{7} \cdot \sigma_r(X^\star)$ 以上で下から抑えられる。
• 小さなステップサイズを用いた勾配降下法は、厳密な鞍点性質のおかげで、ほとんど確実にグローバル最小値に収束する。
• 本結果は、従来の正方行列・正定値半行列に関する知見を、より現実的である非正方行列の設定に一般化したものである。
• 本分析は、新規の正則化目的関数と、RIPおよび行列摂動理論を用いたヘッセ行列の二次形式のきめ細やかな評価に依拠している。