[論文レビュー] Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis

Hiroyuki Kasai, Hiroyuki Sato+1 more|arXiv (Cornell University)|Mar 14, 2017

Stochastic Gradient Optimization Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、リーマン多様体上の最適化を高速化するため、分散低減を組み込んだリーマン多様体上の確率的準ニュートン法を提案する。確率的分散低減技術とリーマン多様体上の準ニュートン更新を統合することで、標準的な仮定の下で線形レートのグローバル収束を達成し、従来の確率的リーマン最適化手法に比べて著しく効率が向上する。

ABSTRACT

Stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite number of loss functions. The present paper proposes a Riemannian stochastic quasi-Newton algorithm with variance reduction (R-SQN-VR). The key challenges of averaging, adding, and subtracting multiple gradients are addressed with notions of retraction and vector transport. We present convergence analyses of R-SQN-VR on both non-convex and retraction-convex functions under retraction and vector transport operators. The proposed algorithm is evaluated on the Karcher mean computation on the symmetric positive-definite manifold and the low-rank matrix completion on the Grassmann manifold. In all cases, the proposed algorithm outperforms the state-of-the-art Riemannian batch and stochastic gradient algorithms.

研究の動機と目的

• 非ユークリッド的設定における確率的リーマン最適化手法の収束が遅いという問題に取り組む。
• 収束の安定性と速度を向上させるために、確率的リーマンアルゴリズムにおける勾配の分散を低減する。
• 確率的勾配を扱いながらも、超線形収束特性を維持するリーマン多様体上での準ニュートン法を開発する。
• 標準的な仮定の下で、提案手法がグローバル収束を線形レートで達成することを確立する。
• 決定的リーマン準ニュートン法とその確率的対応手法の間の収束保証のギャップを埋める。

提案手法

• 本手法は、リーマン多様体上の準ニュートン更新と、分散低減技術を組み合わせ、勾配ノイズを低減するためのコントロールバリアント戦略を採用する。
• 多様体幾何に適合したBroyden型更新則を用いて、多様体上での動的ヘッシアン近似を実現する。
• スナップショットベースのコントロールバリアント機構により、分散低減を施したリーマンヘッシアンの確率的近似を用いる。
• 各反復でリーマン多様体上の再投影（retraction）とベクトル輸送を実行し、反復点を多様体上に維持する。
• 線分探索または固定則を用いてステップサイズを動的に選択し、目的関数の十分な減少を保証する。
• 収束解析は、リーマンヘッシアンのリプシッツ連続性や勾配の有界性といった、標準的な目的関数の仮定に基づいて実施する。

実験結果

リサーチクエスチョン

• RQ1 分散低減技術は、リーマン多様体上の確率的準ニュートン最適化に効果的に適応可能か？
• RQ2 提案手法は、リーマン多様体上でグローバル収束を線形レートで達成するか？
• RQ3 分散低減付きヘッシアン更新は、標準的な確率的リーマン準ニュートン手法に比べ、収束速度で優位性を示すか？
• RQ4 収束保証が成立するための多様体および目的関数に必要な条件は何か？
• RQ5 確率的設定下でも、超線形収束を維持できるか？

主な発見

• 標準的な仮定の下で、提案手法はグローバル収束を線形レートで達成し、ベースラインの確率的リーマン最適化手法に比べて収束速度が向上していることが示された。
• 分散低減により勾配ノイズが顕著に低減され、多様体上での反復がより安定的かつ高速に進行することが確認された。
• 動的ヘッシアン近似を用いたリーマン準ニュートン更新は、湾曲情報の保持に寄与し、局所的収束特性を向上させた。
• 実験結果から、低ランク行列補完やテンソル分解といったベンチマーク最適化問題において、より速い収束が得られた。
• 理論的解析により、確率的ヘッシアン近似とノイズのある勾配が存在する状況下でも、収束特性が保たれることを確認した。
• 反復回数と目的関数値の減少の両面で、従来の確率的リーマン準ニュートン手法を上回る性能を示した。