[論文レビュー] Primal-Dual Optimization Algorithms over Riemannian Manifolds: an Iteration Complexity Analysis

Junyu Zhang, Shiqian Ma+1 more|arXiv (Cornell University)|Oct 5, 2017

Sparse and Compressive Sensing Techniques参考文献 57被引用数 13

ひとこと要約

本稿では、結合された線形制約を持つリーマン多様体上での非凸的かつ非滑らかな多ブロック最適化問題に対して、線形化された近接写像とADMMに類似た更新を用いた原始双対最適化アルゴリズムを提案する。ε-停留点解を得るための反復複雑度境界としてO(1/ε²)を確立し、大規模問題や解析的に解けない場合のための確率的および曲線探索変種への拡張も行う。

ABSTRACT

In this paper we study nonconvex and nonsmooth multi-block optimization over Riemannian manifolds with coupled linear constraints. Such optimization problems naturally arise from machine learning, statistical learning, compressive sensing, image processing, and tensor PCA, among others. We develop an ADMM-like primal-dual approach based on decoupled solvable subroutines such as linearized proximal mappings. First, we introduce the optimality conditions for the afore-mentioned optimization models. Then, the notion of $ε$-stationary solutions is introduced as a result. The main part of the paper is to show that the proposed algorithms enjoy an iteration complexity of $O(1/ε^2)$ to reach an $ε$-stationary solution. For prohibitively large-size tensor or machine learning models, we present a sampling-based stochastic algorithm with the same iteration complexity bound in expectation. In case the subproblems are not analytically solvable, a feasible curvilinear line-search variant of the algorithm based on retraction operators is proposed. Finally, we show specifically how the algorithms can be implemented to solve a variety of practical problems such as the NP-hard maximum bisection problem, the $\ell_q$ regularized sparse tensor principal component analysis and the community detection problem. Our preliminary numerical results show great potentials of the proposed methods.

研究の動機と目的

• リーマン多様体上での結合制約付き非凸的・非滑らか最適化に対する反復複雑度解析の不足を解消すること。
• 機械学習・テンソル解析・信号処理分野の大型問題に適用可能なスケーラブルなアルゴリズムフレームワークの構築。
• 一般の非凸的・非滑らか設定下でε-停留点解への収束に関する理論的保証を提供すること。
• 解が閉形式で得られない場合や高次元モデルにおける非可解な部分問題に対応するため、確率的および曲線探索変種へのフレームワークの拡張。
• テンソルPCA、最大バイセクション、コミュニティ検出問題への実装を通じて実用的妥当性の検証。

提案手法

• 滑らかでない非凸目的関数、非滑らか正則化項、多様体制約を有する多ブロック最適化問題として問題を定式化。
• 線形化された近接写像を用いて分離可能で解析的に解ける部分問題を有する、ADMMに類似た原始双対アルゴリズムを導入。
• リーマン多様体上でのカールーシュ＝クーン＝タッカー（KKT）系から導かれる最適性条件を用いてε-停留性を定義。
• リャプノフ解析と勾配のリプシッツ連続性を用いて、ε-停留点解への収束に関するO(1/ε²)反復複雑度を確立。
• 関数評価が高コストな大規模モデルに対して、期待値において同じ複雑度境界を満たす確率的変種を提案。
• 部分問題に閉形式解がない場合に備えて、リトラクション作用素を用いた曲線探索変種を導入。

実験結果

リサーチクエスチョン

• RQ1 結合線形制約付きの非凸的・非滑らか最適化問題に対して、原始双対アルゴリズムがO(1/ε²)の反復複雑度を達成できるか。
• RQ2 部分問題の正確な解が得られない、または計算的に困難な場合、アルゴリズムはどのように適合できるか。
• RQ3 スパーステンソルPCAやコミュニティ検出といった実用的問題において、アルゴリズムの性能はいかがなものか。
• RQ4 確率的変種は、決定的バージョンと同等の収束複雑度を維持できるか。
• RQ5 実世界のネットワークおよびテンソル問題において、最新の手法と比較してアルゴリズムはどのように性能を発揮するか。

主な発見

• 提案アルゴリズムは、リーマン多様体上での非凸的・非滑らか最適化において、ε-停留点解に到達するためのO(1/ε²)反復複雑度を達成した。
• 確率的変種は、同じO(1/ε²)の期待反復複雑度を維持しており、大規模モデルへのスケーラビリティを実現した。
• スパーステンソルPCAでは、30×30×30のテンソルに5×5×5のコアを用い、相対誤差が0.0043（平均）、直交性違反が2.7×10⁻⁷を達成した。
• 42×42×42のテンソルでは、平均相対誤差が0.0803であり、直交性違反は無視できるほど小さく（1.2×10⁻¹⁴）。
• カリフォルニア工科大学のFacebookネットワークでは、アルゴリズム2が23.68%の誤差率を達成し、SCORE（28.66%）およびOCCAM（34.21%）を上回った。
• シモンズ・カレッジのネットワークでは、アルゴリズム2が20.61%の誤差率を達成し、SCORE（22.54%）およびOCCAM（23.92%）をわずかに上回った。