[論文レビュー] Riemannian adaptive stochastic gradient algorithms on matrix manifolds

Hiroyuki Kasai, Pratik Jawanpuria+1 more|arXiv (Cornell University)|Feb 4, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 23

ひとこと要約

本稿では、リーマン確率勾配の行および列部分空間重みを共分散行列を用いてモデル化することで、学習率を自己調整的に更新するリーマン適応的確率勾配法（RASA）を提案する。この手法は、行列多様体上での非凸的確率的最適化に対して $ olimits\mathcal{O}(\log(T)/\sqrt{T})$ の収束速度を達成し、この設定におけるリーマン適応的手法の最初の収束保証を提供する。

ABSTRACT

Adaptive stochastic gradient algorithms in the Euclidean space have attracted much attention lately. Such explorations on Riemannian manifolds, on the other hand, are relatively new, limited, and challenging. This is because of the intrinsic non-linear structure of the underlying manifold and the absence of a canonical coordinate system. In machine learning applications, however, most manifolds of interest are represented as matrices with notions of row and column subspaces. In addition, the implicit manifold-related constraints may also lie on such subspaces. For example, the Grassmann manifold is the set of column subspaces. To this end, such a rich structure should not be lost by transforming matrices to just a stack of vectors while developing optimization algorithms on manifolds. We propose novel stochastic gradient algorithms for problems on Riemannian matrix manifolds by adapting the row and column subspaces of gradients. Our algorithms are provably convergent and they achieve the convergence rate of order $\mathcal{O}(\log (T)/\sqrt{T})$, where $T$ is the number of iterations. Our experiments illustrate the efficacy of the proposed algorithms on several applications.

研究の動機と目的

• 非凸的設定におけるリーマン適応的確率勾配法の収束解析の欠如に対処すること。
• ベクトル化を避けることで、多様体の内在的な行列構造を保つ適応的最適化アルゴリズムを開発すること。
• 行列多様体上の勾配の行および列部分空間幾何を活用して、最適化の効率を向上させること。
• リーマン行列多様体上での適応的学習のための体系的かつ計算効率の良いフレームワークを提供すること。
• 提案手法が、PCA、行列補完、ICA タスクにおいて、既存のリーマン適応的アルゴリズムを上回ることを実験的に検証すること。

提案手法

• リーマン確率勾配 $\mathbf{G}$ の行および列部分空間に対して、適応的重み行列 $\mathbf{L}$ および $\mathbf{R}$ をモデル化する。
• 行および列の共分散行列を用いて $\mathbf{L}$ および $\mathbf{R}$ を計算し、正定値性を保証する。
• 計算効率を向上させるために、AdaGrad のインスピレーションを受けて $\mathbf{L}$ および $\mathbf{R}$ に対角構造を課す。
• 直交射影子 $\mathrm{P}_{\mathbf{U}}$ を用いて、ユークリッド勾配を接空間に射影することでリーマン最適化を適用する。
• スタイフェル多様体およびグラスマン多様体上での ICA、PCA、行列補完問題に対するリーマン勾配を導出する。
• 多様体制約を維持しつつ、適応的部分空間重み付けをリーマン確率勾配更新に統合する。

実験結果

リサーチクエスチョン

• RQ1 適応的確率勾配法は、幾何的構造を保持したまま、リーマン行列多様体へ効果的に一般化可能か？
• RQ2 非凸的設定におけるリーマン適応的確率勾配アルゴリズムの収束速度は何か？
• RQ3 多様体上での標準的なユークリッド的適応的手法と比較して、行および列部分空間の適応戦略はどのように異なるか？
• RQ4 提案手法は、実用的な機械学習応用において、既存のリーマン適応的アルゴリズムを上回る性能を示せるか？
• RQ5 行列構造（例えば、ベクトル化の回避）を保つことが、最適化性能にどのような影響を与えるか？

主な発見

• 提案された RASA アルゴリズムは、リーマン行列多様体上での非凸的確率的最適化に対して $\mathcal{O}(\log(T)/\sqrt{T})$ の収束速度を達成する。
• 本手法は、やや厳しい条件のもとで、非凸的設定におけるリーマン適応的確率勾配アルゴリズムの最初の収束解析を提供する。
• 合成および実世界のデータセットを用いた実験により、RASA は PCA および行列補完タスクにおいてベースラインのリーマン適応的手法を上回ることが示された。
• 行および列部分空間の適応戦略の使用により、勾配の行列構造が保持され、最適化の効率が向上した。
• 適応的重み行列 $\mathbf{L}$ および $\mathbf{R}$ の対角近似により、計算効率が確保されつつ収束保証が維持された。
• 直交射影を用いた接空間への射影を用いて、ICA、PCA、行列補完問題のためのリーマン勾配が明示的に導出された。