[論文レビュー] Stochastic Primal-Dual Method on Riemannian Manifolds with Bounded Sectional Curvature

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|Mar 23, 2017

Stochastic Gradient Optimization Techniques参考文献 45被引用数 4

ひとこと要約

本稿は、有界な断面曲率を持つリーマン多様体上の制約付き最適化のための確率的プライマル・デュアルアルゴリズムを提案する。地図的凸性と比較幾何学を活用し、非漸近的収束速度を確立しており、その速度は多様体の断面曲率に明示的に依存する。双曲的、楕円的、漸近的に楕円的な多様体に対してきびしい境界が得られる。

ABSTRACT

We study a stochastic primal-dual method for constrained optimization over Riemannian manifolds with bounded sectional curvature. We prove non-asymptotic convergence to the optimal objective value. More precisely, for the class of hyperbolic manifolds, we establish a convergence rate that is related to the sectional curvature lower bound. To prove a convergence rate in terms of sectional curvature for the elliptic manifolds, we leverage Toponogov's comparison theorem. In addition, we provide convergence analysis for the asymptotically elliptic manifolds, where the sectional curvature at each given point on manifold is locally bounded from below by the distance function. We demonstrate the performance of the primal-dual algorithm on the sphere for the non-negative principle component analysis (PCA). In particular, under the non-negativity constraint on the principle component and for the symmetric spiked covariance model, we empirically show that the primal-dual approach outperforms the spectral method. We also examine the performance of the primal-dual method for the anchored synchronization from partial noisy measurements of relative rotations on the Lie group SO(3). Lastly, we show that the primal-dual algorithm can be applied to the weighted MAX-CUT problem under constraints on the admissible cut. Specifically, we propose different approximation algorithms for the weighted MAX-CUT problem based on optimizing a function on the manifold of direct products of the unit spheres as well as the manifold of direct products of the rotation groups.

研究の動機と目的

• リーマン多様体上での制約付き最適化問題に対して、スケーラブルでプロジェクションフリーな最適化手法を開発すること。ここで、実行可能集合はユークリッド空間において非凸である。
• 有界な断面曲率を持つ多様体上での確率的プライマル・デュアル法の非漸近的収束保証を確立すること。
• 双曲的（負）、楕円的（正）、漸近的に楕円的（距離関数によって局所的に下から有界）という異なる曲率領域における収束解析を統一すること。
• 非負のPCA、SO(3)上のアンカーベース同期、および制約付き重み付きMAX-CUT問題において実用的効果を示すこと。

提案手法

• 多様体上に直接作用するリーマンプライマル・デュアルアルゴリズムを用い、ユークリッド埋め込みやプロジェクションステップを回避する。
• 多様体の幾何学による暗黙の正則化を適用し、確率的部分勾配法を用いることで、プライマル反復が多様体上に留まるように保証する。
• 双曲的多様体の場合、地図的凸性と曲率に依存する解析を用いて、断面曲率の下界に依存する収束速度を導出する。
• 楕円的多様体の場合、トポノゴフの比較定理を活用して曲率の影響を制御し、断面曲率を含む収束境界を導出する。
• 断面曲率が固定点からの距離関数によって下から有界である漸近的に楕円的多様体へ解析を拡張する。
• オルリッチノルムの集中不等式とタラグランド型の境界を用いて、部分勾配推定値における確率的誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 有界な断面曲率を持つリーマン多様体上での確率的プライマル・デュアル法が非漸近的収束を達成できるか。
• RQ2 双曲的および楕円的多様体において、断面曲率が収束速度にどのように影響するか。
• RQ3 断面曲率が定数ではなく距離の関数によって下から有界である多様体に対しても、収束解析を拡張できるか。
• RQ4 低信号対雑音比（SNR）条件下で、非負のPCAにおいてリーマンプライマル・デュアル法が標準的なスペクトル法を上回るか。
• RQ5 リー群（例：SO(3)）上の同期問題や積多様体上の制約付きMAX-CUT問題に、この手法が効果的に適用可能か。

主な発見

• 有界な断面曲率を持つ双曲的多様体では、アルゴリズムが断面曲率の下界に明示的に依存するグローバルな非漸近的収束速度を達成する。
• 楕円的多様体では、トポノゴフの比較定理により、断面曲率を含む収束境界が得られ、曲率が0に近づくにつれて双曲的ケースに近づく。
• 断面曲率が固定点からの距離の2次関数によって下から有界である漸近的に楕円的多様体に対しても収束解析が拡張される。
• 対称スパiked共分散モデル下での非負のPCAにおいて、コサイン類似度の観点から低SNR領域でプライマル・デュアル法がスペクトル法を上回る。特に非負制約のおかげで顕著な性能向上が得られる。
• サンプルサイズの増大に伴いスケーラブルに動作し、数百件までのサンプルに制限される半正定値計画法（SDP）を上回る性能を示す。
• 実験的結果から、部分的でノイズのある相対回転測定からSO(3)上のアンカーベース同期を効果的に解けることが示され、ロバストネスとスケーラビリティが確認された。