[論文レビュー] Nonconvex stochastic optimization on manifolds via Riemannian Frank-Wolfe methods.

Melanie Weber, Suvrit Sra|arXiv (Cornell University)|Oct 9, 2019

3D Shape Modeling and Analysis参考文献 16被引用数 6

ひとこと要約

本稿では、多様体上の非凸および測地線的凸最適化のための確率的リーマン幾何的フランク＝ウォルフ法を提案する。投影自由な更新と、スパイダ技法のリーマン的拡張による分散低減を活用する。収束速度は、最も優れたユークリッド空間における対応手法と同等であり、カーゲル平均およびワルサーゲン・ベリーサンタの計算において、最先端の実験的性能を示す。

ABSTRACT

We study stochastic projection-free methods for constrained optimization of smooth functions on Riemannian manifolds (where there are additional constraints beyond the parameter domain being a manifold). Specifically, we introduce stochastic Riemannian Frank-Wolfe methods for both nonconvex and geodesically convex problems. We present algorithms for both stochastic optimization and finite-sum problems. For the latter, we develop variance reduced methods, including a Riemannian adaptation of the recently proposed Spider technique. For all settings, we recover convergence rates that are comparable to the best-known rates for their Euclidean counterparts. Finally, we discuss applications to two basic tasks: computation of the Karcher mean and Wasserstein barycenters for multivariate normal distributions. For both tasks, stochastic Fw methods yield state-of-the-art empirical performance.

研究の動機と目的

• リーマン多様体上での制約付き滑らか最適化に適した、確率的で投影自由な最適化手法を開発すること。非凸および測地線的凸の目的関数を対象とする。
• 特にスパイダ法を含む分散低減技術を、有限和問題のためのリーマン幾何的設定に拡張すること。
• 非確率的および有限和最適化の両設定において、ユークリッド空間における最良の既知の収束速度と同等の収束速度を達成すること。
• Karcher平均やワルサーゲン・ベリーサンタの計算といった基本的タスクにおいて、実験的優位性を示すこと。

提案手法

• 射影ステップを回避するため、接空間上で線形部分問題を解くことで、確率的リーマン幾何的フランク＝ウォルフアルゴリズムを提案する。
• スパイダ法の分散低減技術をリーマン最適化に適応させ、多様体上での効率的な有限和問題の解法を可能にする。
• 反復点を多様体上に維持するために、リーマン的再帰とベクトル輸送を用いる。更新は接空間で実行される。
• 測地線的凸性の仮定を用いて、測地線的凸の場合の収束保証を確立する。
• 非凸設定における進捗を監視するために、フランク＝ウォルフギャップのリーマン的変種を導入する。
• 2つの主要な幾何的タスクにこのフレームワークを適用する：Karcher平均の計算とワルサーゲン・ベリーサンタの推定。

実験結果

リサーチクエスチョン

• RQ1 制約付きパrameter空間を持つリーマン多様体上での非凸最適化に、確率的フランク＝ウォルフ法を効果的に拡張できるか？
• RQ2 スパイダ法のような分散低減技術を、有限和問題におけるリーマン的設定にどのように適応できるか？
• RQ3 リーマン幾何的フランク＝ウォルフ法は、非凸および測地線的凸両設定において、ユークリッド空間の対応手法と同等の収束速度を達成できるか？
• RQ4 Karcher平均やワルサーゲン・ベリーサンタの計算といった基本的幾何的タスクにおける、これらの手法の実験的性能はいかなるものか？

主な発見

• 提案された確率的リーマン幾何的フランク＝ウォルフ法は、非凸および測地線的凸問題の両方において、ユークリッド空間における最良の既知の収束速度と同等の収束速度を達成する。
• スパイダ技法のリーマン的適応により、多様体上での有限和最適化における効率的な分散低減が可能となり、サンプル効率が向上する。
• 実験結果から、確率的フランク＝ウォルフ法は、多様体上での確率分布のKarcher平均の計算において、既存手法を上回る性能を示す。
• 多変量正規分布のワルサーゲン・ベリーサンタ計算において、最先端の性能を達成し、ロバストネスとスケーラビリティを示す。