[論文レビュー] A Riemannian low-rank method for optimization over semidefinite matrices with block-diagonal constraints

Nicolas Boumal|arXiv (Cornell University)|Jun 1, 2015

Sparse and Compressive Sensing Techniques参考文献 57被引用数 50

ひとこと要約

本稿では、ブロック対角恒等制約を伴う半定値計画問題を解くためのリーマン型低ランク最適化手法を提案する。低ランク行列多様体の滑らかな幾何構造を活用することで、第二階級臨界点を効率的に特定する。この手法は「ステップアッパー法」と呼ばれるもので、Max-Cut や順列回復といった問題において、最大80％のノイズ測定値が存在する状況でも、解空間のランクを動的に調整しながら、KKT点への収束を保証することで、最先端のソルバーよりも桁違いの高速化と高い精度を達成する。

ABSTRACT

We propose a new algorithm to solve optimization problems of the form $\min f(X)$ for a smooth function $f$ under the constraints that $X$ is positive semidefinite and the diagonal blocks of $X$ are small identity matrices. Such problems often arise as the result of relaxing a rank constraint (lifting). In particular, many estimation tasks involving phases, rotations, orthonormal bases or permutations fit in this framework, and so do certain relaxations of combinatorial problems such as Max-Cut. The proposed algorithm exploits the facts that (1) such formulations admit low-rank solutions, and (2) their rank-restricted versions are smooth optimization problems on a Riemannian manifold. Combining insights from both the Riemannian and the convex geometries of the problem, we characterize when second-order critical points of the smooth problem reveal KKT points of the semidefinite problem. We compare against state of the art, mature software and find that, on certain interesting problem instances, what we call the staircase method is orders of magnitude faster, is more accurate and scales better. Code is available.

研究の動機と目的

• 直交行列を含む非凸最適化問題の計算的非実行可能性に対処すること。これは、位相再構成、Max-Cut、順列回復の文脈で生じる。
• 半定値計画問題（SDP）における内点法（IPM）のスケーラビリティの限界を、解空間内の低ランク構造を活用することで克服すること。
• 低ランク多様体上で動作するリーマン最適化フレームワークを構築し、元の半定値緩和問題のKKT点に対応する第二階級臨界点を効率的に計算すること。
• 緩和問題の解に対して、解のランクに関する決定的バウンドを提供することで、最適性を達成するには低次元の多様体のみを探索すればよいことを保証すること。
• 実世界の問題例、特に外れ値率が高い状況において、本手法の速度、精度、ノイズ耐性の優位性を実証的に検証すること。

提案手法

• 元の非凸問題を、各行列の行が直交する多様体 $ \mathrm{St}(d,p)^m $ 上で滑らかな関数 $ f(YY^ op) $ の最小化として定式化する。
• 問題を、$ X \succeq 0 $ かつ $ X_{ii} = I_d $ を満たすスぺクトラヒドロン $ \mathcal{C} = \{ X \succeq 0, X_{ii} = I_d \} $ 上の半定値計画問題（SDP）に昇格する。この際、暗黙のランク制約 $ \operatorname{rank}(X) \leq p $ を含む。
• 低ランク多様体 $ \mathrm{St}(d,p)^m $ 上でのリーマン最適化を用いて、非凸問題を直接解き、フルランクの密行列演算を回避する。
• 「ステップアッパー法」を導入する。この手法は、初期ランクを $ p = d+1 $ として開始し、第二階級臨界点への収束が得られない場合にのみランクを段階的に増加させる。
• リーマン幾何と凸幾何の両方の知見を用いて、低ランク多様体上の第二階級臨界点が、元の半定値問題のKKT点に対応する条件を同定する。
• 収束を保証するため、ラインサーチを組み合わせたリーマン的信頼領域（RTR）を用い、正則化パラメータ $ \varepsilon $ の減少に伴うウォームスタートを実施する。

実験結果

リサーチクエスチョン

• RQ1 低ランクリーマン多様体 $ \mathrm{St}(d,p)^m $ 上の第二階級臨界点は、ブロック対角恒等制約を伴う完全な半定値緩和問題のKKT点に対応するか？
• RQ2 元の問題のKKT点に対応する第二階級臨界点を得るために、最低限考慮すべきランク $ p^* $ は何か？
• RQ3 非凸SDP緩和問題において、成熟したソルバーよりも本手法が速度、精度、ノイズ耐性の面で優れているか？
• RQ4 ノイズが多い状況、例えば80％のランダム外れ値が存在する場合でも、本手法は正確な回復を達成できるか？ また、計算効率とグローバルに類似した解への収束を維持できるか？
• RQ5 非凸コスト関数において、第二階級臨界点がKKT点であるだけでなく、偽の局所最小値を除外するような低ランク多様体上でも計算可能か？

主な発見

• ステップアッパー法は、Max-Cut や順列回復といった問題において、IPM や ADM といった最先端のソルバーよりも桁違いの高速化と高い精度を達成する。
• 最大80％のランダム外れ値が存在する問題において、擬似Huber損失を用いた本手法は、ほぼ完全な回復（平均二乗誤差 < $ 10^{-6} $）を達成し、ランク$ d $ の第二階級臨界点に収束する。
• 本手法は、$ \sigma_{d+1}(Y) \approx 10^{-10} $、$ \|\mathrm{grad}\,g(Y)\| \leq 10^{-6} $、$ \lambda_{\min}(\mathrm{Hess}\,g(Y)) \geq -10^{-10} $ を満たす第二階級臨界点に収束する。これは高品質なKKT点を示している。
• 理論的解析により、最適性を保証するには、$ p^* = \frac{\sqrt{1+4md(d+1)}-1}{2} < (d+1)\sqrt{m} \ll n $ のランクのみを考慮すれば十分であることが示され、最適性のための決定的ランクバウンドが得られる。
• 実験的に、高ノイズ環境下でも $ p $ を $ d+1 $ を超えて増加させないまま、グローバル最適解を特定している。これは、グローバル解が低ランク部分空間に存在することを示唆している。
• IPMは中規模のインスタンスですでにメモリ不足に陥るのに対し、本手法はスケーラビリティが著しく優れており、ノイズが多い問題や組合せ最適化問題においても優れた性能を発揮する。