[論文レビュー] Block-Coordinate Minimization for Large SDPs with Block-Diagonal Constraints

Yulun Tian, Kasra Khosoussi+1 more|arXiv (Cornell University)|Mar 2, 2019

Advanced Optimization Algorithms Research参考文献 16被引用数 4

ひとこと要約

この論文は、ブロック座標最小化（BCM）を、スティーベル多様体の直積への最適化へと拡張し、大規模なブロック対角構造をもつ半定値計画問題（SDP）のスケーラブルな解法を可能にした。この手法はリーマンの勾配ノルムに対して $ O(1/k) $ のグローバル収束速度を達成し、回転やポーズ同期化のような応用に適している。

ABSTRACT

The so-called Burer-Monteiro method is a well-studied technique for solving large-scale semidefinite programs (SDPs) via low-rank factorization. The main idea is to solve rank-restricted, albeit non-convex, surrogates instead of the SDP. Recent works have shown that, in an important class of SDPs with elegant geometric structure, one can find globally optimal solutions to the SDP by finding rank-deficient second-order critical points of an unconstrained Riemannian optimization problem. Hence, in such problems, the Burer-Monteiro approach can provide a scalable and reliable alternative to interior-point methods that scale poorly. Among various Riemannian optimization methods proposed, block-coordinate minimization (BCM) is of particular interest due to its simplicity. Erdogdu et al. in their recent work proposed BCM for problems over the Cartesian product of unit spheres and provided global convergence rate estimates for the algorithm. This report extends the BCM algorithm and the global convergence rate analysis of Erdogdu et al. from problems over the Cartesian product of unit spheres to the Cartesian product of Stiefel manifolds. The latter more general setting has important applications such as synchronization over the special orthogonal (SO) and special Euclidean (SE) groups.

研究の動機と目的

• 大規模なブロック対角構造をもつ半定値計画問題（SDP）に対して、内点法のスケーラビリティの限界を解決すること。
• ユニット球からより一般的なスティーベル多様体の積 $ \mathrm{St}(d,r)^n $ へのブロック座標最小化（BCM）アルゴリズムおよびそのグローバル収束解析の拡張。
• SO(d) や SE(d) 群における同期問題から生じる大規模SDPの効率的かつ信頼性の高い解法を可能にすること。
• 均等採番と重要度採番の両方の採番スキームにおいて、スティーベル多様体上でのBCMの理論的収束保証を提供すること。
• リーマン問題のランク不足の2次臨界点が、元のSDPのグローバル最適解に一致することを確立すること。

提案手法

• SDPを、$ \mathrm{St}(d,r)^n $ 上の低ランク最適化問題として定式化し、因子分解 $ X = Y^\top Y $ を用いる。
• 目的関数 $ F(Y) = \operatorname{tr}(QY^\top Y) $ をブロック寄与項 $ F_i(Y_i) = \langle G_i, Y_i \rangle $ に分解し、$ G_i = \sum_{j \neq i} Y_j Q_{[j,i]} $ を定義する。
• 他のブロックを固定した上で、1つのブロック $ Y_i $ を繰り返し最適化するブロック座標最小化を適用し、SVDによる閉形式解 $ Y_i^\star = U_i I_{r \times d} V_i^\top $ を用いる（$ -G_i = U_i \Sigma_i V_i^\top $ に対応）。
• 2種類の採番戦略を用いる：均等採番（$ p_i = 1/n $）と重要度採番（$ p_i \propto \|G_i\|_* $）を用いてブロックを選択する。
• 期待される2乗リーマン勾配ノルムのグローバル収束レートの上限を導出し、$ \mathbb{E}\|\operatorname{grad}F(Y^k)\|_F^2 \leq \epsilon $ が $ O(1/\epsilon) $ 回の反復後に達成されることを示す。
• 行列ノルムの不等式と固有値／特異値の交互性を用いて、各反復における目的関数の減少をバウンディングする。

実験結果

リサーチクエスチョン

• RQ1 大規模なSDPに対して、ブロック座標最小化をユニット球の積からスティーベル多様体の積へ一般化できるか？
• RQ2 均等採番と重要度採番の両方において、$ \mathrm{St}(d,r)^n $ 上でのBCMのグローバル収束速度はどのように確立できるか？
• RQ3 解がランク不足で、2次臨界点に達した場合、リーマンのBCMアルゴリズムはグローバル最適解に収束するか？
• RQ4 収束速度は、$ d $, $ n $, および $ Q $ の核ノルムといった問題パラメータにどのように依存するか？
• RQ5 このアルゴリズムは、大規模なインスタンスにおけるSO(d)およびSE(d)上の同期問題に効果的に適用可能か？

主な発見

• 提案された $ \mathrm{St}(d,r)^n $ 上のBCMアルゴリズムは、期待される2乗リーマン勾配ノルムに対して $ O(1/k) $ のグローバル収束速度を達成する。
• 収束バウンディングは、問題サイズに依存し、$ dnC_1(Q) $ を通じて表され、ここで $ C_1(Q) = \sum_{i \neq j} \|Q_{[i,j]}\|_* $ であり、初期の目的関数ギャップにも依存する。
• 重要度採番は勾配寄与度の高いブロックを優先することで収束を促進し、実際の収束が速くなる。
• ランク不足の2次臨界点が見つかった場合、その点が元のSDPのグローバル最適解に一致することを保証する。
• 理論的分析により、アルゴリズムは鞍点を回避し、弱い仮定のもとで高確率で臨界点に収束することが確認された。
• この手法は大規模問題へスケーラブルであり、内点法が非効率となるような、$ d \times n > 10^4 $ のポーズグラフ最適化などにも適用可能である。