[論文レビュー] Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold

Bokun Wang, Shiqian Ma+1 more|arXiv (Cornell University)|May 3, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用数 8

ひとこと要約

本稿では、Stiefel多様体上での非滑らか最適化のためのリーマン的確率的近接勾配法 R-ProxSGD および R-ProxSPB を提案する。これは、ユークリッド空間における確率的近接勾配法（SGD）および SpiderBoost をリーマン的設定に一般化したものであり、$\tilde{\text{O}}(\text{poly}(\frac{1}{\rho}))$ のインクリメンタル一次オракル（IFO）複雑度を達成し、オンラインスパースPCAおよびロバストな低ランク行列補完において、リーマン的部分勾配法を著しく上回る性能を発揮する。

ABSTRACT

Riemannian optimization has drawn a lot of attention due to its wide applications in practice. Riemannian stochastic first-order algorithms have been studied in the literature to solve large-scale machine learning problems over Riemannian manifolds. However, most of the existing Riemannian stochastic algorithms require the objective function to be differentiable, and they do not apply to the case where the objective function is nonsmooth. In this paper, we present two Riemannian stochastic proximal gradient methods for minimizing nonsmooth function over the Stiefel manifold. The two methods, named R-ProxSGD and R-ProxSPB, are generalizations of proximal SGD and proximal SpiderBoost in Euclidean setting to the Riemannian setting. Analysis on the incremental first-order oracle (IFO) complexity of the proposed algorithms is provided. Specifically, the R-ProxSPB algorithm finds an $ε$-stationary point with $Ø(ε^{-3})$ IFOs in the online case, and $Ø(n+\sqrt{n}ε^{-2})$ IFOs in the finite-sum case with $n$ being the number of summands in the objective. Experimental results on online sparse PCA and robust low-rank matrix completion show that our proposed methods significantly outperform the existing methods that use Riemannian subgradient information.

研究の動機と目的

• Stiefel多様体上での非滑らか合成最適化に向けた効率的な確率的リーマン的アルゴリズムの欠如に応えること。目的関数は非微分可能であるが、これは非滑らか正則化子に起因する。
• リーマン幾何学と近接作用素を活用することで、部分勾配の明示的計算を回避する確率的近接勾配法の開発。
• オンラインおよび有限和設定の両方において、$\rho$-停留点を求めるための改善されたインクリメンタル一次オーケストラ（IFO）複雑度の達成。
• Riemann的部分勾配法に比べ、実世界の問題であるオンラインスパースPCAおよびロバストな低ランク行列補完において優れた経験的性能の実証。
• ユークリッド空間における確率的近接アルゴリズム（SGDおよびSpiderBoost）をリーマン多様体設定に一般化し、収束保証を維持すること。

提案手法

• 滑らか部分 $f$ のための確率的勾配推定器と、非滑らか正則化子 $h$ のための近接作用素を用いるリーマン的確率的近接勾配法 R-ProxSGD を提案。
• 有限和ケースにおける IFO 效率を向上させるために、分散低減勾配推定器を用いるリーマン的 SpiderBoost の変種 R-ProxSPB を導入。
• 反復点が常に Stiefel多様体 $\text{St}(d,r)$ 上に維持されるように、リトラクションおよびベクトルトランスポート作用素を適用。
• 非滑らか性に対処するために、$h$ のモラウ・ヨシダ正則化を用いた近接ステップを採用し、部分勾配情報の必要性を回避。
• IFO 複雑度の上限を導出：オンラインケースでは $\tilde{\text{O}}(\rho^{-3})$、有限和ケースでは $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$ となり、$n$ は和項の数を表す。
• インデックスペア $(i,j)\in\Omega$ を用いた確率的勾配サンプリングが可能な、有限和構造を持つ滑らか部分 $f$ を持つ低ランク行列補完の定式化を設計。これにより、行列乗算を完全に実行せずに効率的な計算が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非滑らか最適化のための確率的近接勾配法は、リーマン多様体設定に効果的に拡張可能か？
• RQ2 リーマン的確率的近接勾配法のインクリメンタル一次オーケストラ（IFO）複雑度は、$\rho$-停留点を求めるためにどの程度か？
• RQ3 実世界の問題において、R-ProxSGD および R-ProxSPB は既存のリーマン的部分勾配法に比べて性能と収束速度で優れているか？
• RQ4 部分勾配の明示的計算を避けることで、サブグラデントベースの手法に比べて IFO 効率を向上させられるか？
• RQ5 オンラインスパースPCAおよびロバストな低ランク行列補完のような応用において、これらの手法は性能をどの程度向上させられるか？

主な発見

• 有限和ケースにおいて、R-ProxSPB は $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$ の IFO 複雑度を達成し、部分勾配法に比べて顕著に向上している。
• オンラインケースでは、R-ProxSPB が $\tilde{\text{O}}(\rho^{-3})$ の IFO 複雑度を達成し、ユークリッド設定における最良のレートと一致している。
• オンラインスパースPCA問題において、R-ProxSGD および R-ProxSPB は R-Subgrad 法に比べてより速く収束し、より低い目的関数値を達成している。
• ロバストな低ランク行列補完において、R-ProxSGD および R-ProxSPB は R-Subgrad に比べて動画データの背景推定の質が高く、特に R-ProxSPB が一貫した改善を示している。
• 提案されたアルゴリズムは、部分勾配の明示的計算を一切必要とせず、近接ステップと確率的勾配推定器に依存することで、安定性と収束性が向上している。
• 実際の監視動画データセット（「ビジネスビルのホール」と「空港のエレベーター」）を用いた経験的評価により、R-ProxSPB および R-ProxSGD が、同じ 4|Ω| 個の確率的勾配の予算下で R-Subgrad を上回ることが確認された。