[論文レビュー] Convergence Analysis of Riemannian Stochastic Approximation Schemes

Alain Durmus, Pablo Jiménez+3 more|arXiv (Cornell University)|May 27, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 4

ひとこと要約

本稿は、多様体上でのリーマン確率的近似スキームのグローバル収束解析を提示する。偏りのあるベクトル場、制御されたマルコフ連鎖によるサンプリング、指数写像の代わりにリトラクション写像を許容する。収束速度として、事前的な有界性や測地線的凸性の仮定がなくても、期待値の二乗ノルムの収束速度 𝒪(b∞ + log n / √n) を確立する。

ABSTRACT

This paper analyzes the convergence for a large class of Riemannian stochastic approximation (SA) schemes, which aim at tackling stochastic optimization problems. In particular, the recursions we study use either the exponential map of the considered manifold (geodesic schemes) or more general retraction functions (retraction schemes) used as a proxy for the exponential map. Such approximations are of great interest since they are low complexity alternatives to geodesic schemes. Under the assumption that the mean field of the SA is correlated with the gradient of a smooth Lyapunov function (possibly non-convex), we show that the above Riemannian SA schemes find an ${\mathcal{O}}(b_\infty + \log n / \sqrt{n})$-stationary point (in expectation) within ${\mathcal{O}}(n)$ iterations, where $b_\infty \geq 0$ is the asymptotic bias. Compared to previous works, the conditions we derive are considerably milder. First, all our analysis are global as we do not assume iterates to be a-priori bounded. Second, we study biased SA schemes. To be more specific, we consider the case where the mean-field function can only be estimated up to a small bias, and/or the case in which the samples are drawn from a controlled Markov chain. Third, the conditions on retractions required to ensure convergence of the related SA schemes are weak and hold for well-known examples. We illustrate our results on three machine learning problems.

研究の動機と目的

• 一般のリーマン多様体上でのリーマン確率的近似スキームの収束を、緩い仮定のもとで分析すること。
• 標準的な指数写像にとどまらず、計算的に実行可能であるリトラクションに基づくスキームへの収束保証の拡張。
• 確率的近似フレームワーク内でのバイアスのある平均場推定とマルコフ連鎖によるサンプリングの取り扱い。
• 反復点の事前有界性や測地線的凸性の必要性を排除し、グローバル収束結果を可能にすること。
• 平均場とサンプリング機構に弱い正則性条件を課した下で、測地線的およびリトラクションベースのスキームの非漸近的収束速度の導出。

提案手法

• 多様体上の根を求めることを、状態空間上での積分によって定義される平均ベクトル場 h を用いて h(θ) = 0 となる θ を求める問題として定式化する。
• 指数写像またはリトラクション写像を用いて反復点を更新するリーマン確率的近似スキームを提案する：θ_{n+1} = Retr_{θ_n}(η_{n+1} H_{θ_n}(X_{n+1}))。
• 反復点の事前有界性がなく、測地線的凸性がなく、バイアスのあるまたはマルコフ連鎖によるサンプリングを許容する弱い仮定のもとで収束を分析する。
• リーマン幾何学に適応したODE法を用いて、確率過程の極限的挙動を研究する。
• 平行移動、ヘッセ行列の有界性、曲率制御といったリーマン幾何学の道具を用いて、安定性および収束性の性質を導出する。
• マーティンゲール技法とモーメントバウンドを用いて、多様体の構造とリトラクションの性質を活かして収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 反復点の有界性や測地線的凸性を仮定せず、リーマン確率的近似がグローバルに収束できるか？
• RQ2 ベクトル場推定のバイアスは、リーマン確率的近似スキームの収束速度にどのように影響するか？
• RQ3 サンプリング分布が現在の反復点に依存する制御されたマルコフ連鎖によって生成される場合、どのような収束保証が得られるか？
• RQ4 指数写像をリトラクション写像に置き換えても、収束性を保ちながらどの程度の代替が可能か？
• RQ5 平均場とサンプリングメカニズムに弱い仮定を課した下で、リーマン確率的近似の非漸近的収束速度はどのように導出できるか？

主な発見

• 提案されたリーマン確率的近似スキームは、期待値の二乗ノルムの収束速度として 𝒪(b∞ + log n / √n) を達成する。ここで b∞ は漸近的バイアスを表す。
• 反復点の事前有界性や多様体のコンパクト性を仮定せず、グローバルに収束が保証される。
• 多くの実用的状況で満たされる、弱い仮定のもとでのリトラクションの性質が成立する。特に、QRベースや極座標リトラクションなどの一般的なリトラクションが該当する。
• 収束結果は、サンプルが制御されたマルコフ連鎖によって生成される場合にも拡張可能であり、オンライン学習や強化学習の応用範囲を広げる。
• 主成分分析やリーマン多様体上の重心計算といった非凸問題にも適用可能であり、臨界点への収束に関する理論的保証が得られる。
• 本稿は、指数写像の代わりに計算コストが低いリトラクションを用いるリーマン最適化における理論的基盤を提供するが、収束保証を損なわない。