[論文レビュー] Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization

Umut Şimşekli, Çağatay Yıldız+3 more|arXiv (Cornell University)|Jun 7, 2018

Markov Chains and Monte Carlo Methods参考文献 8被引用数 17

ひとこと要約

本稿では、非凸最適化のための非同期確率的 L-BFGS アルゴリズムを提案する。確率的勾配マルコフ連鎖モンテカルロ（SG-MCMC）を活用することで、同期なしに並列かつ分散型の更新が可能になる。この手法は、$\mathcal{O}(1/\sqrt{N})$ のエルゴディック収束速度を達成し、分散環境下で線形スループット向上を示し、実世界の行列分解タスクにおいて同期型の手法を上回る性能を発揮する。

ABSTRACT

Recent studies have illustrated that stochastic gradient Markov Chain Monte Carlo techniques have a strong potential in non-convex optimization, where local and global convergence guarantees can be shown under certain conditions. By building up on this recent theory, in this study, we develop an asynchronous-parallel stochastic L-BFGS algorithm for non-convex optimization. The proposed algorithm is suitable for both distributed and shared-memory settings. We provide formal theoretical analysis and show that the proposed method achieves an ergodic convergence rate of ${\cal O}(1/\sqrt{N})$ ($N$ being the total number of iterations) and it can achieve a linear speedup under certain conditions. We perform several experiments on both synthetic and real datasets. The results support our theory and show that the proposed algorithm provides a significant speedup over the recently proposed synchronous distributed L-BFGS algorithm.

研究の動機と目的

• 分散最適化における調整オーバーヘッドによる同期型並列 L-BFGS の非効率性を解消すること。
• 大規模な非凸問題における計算効率を向上させるために、確率的 L-BFGS を非同期設定に拡張すること。
• 非同期状態でも収束保証を維持できる理論的裏付けのある手法を開発すること。
• 異なる速度のワーカーを有する大規模クラスタ上での実用的導入を可能にすること。
• 実データセット上で、同期型および確率的勾配ベースラインと比較して優れた収束性とスループット向上を示すこと。

提案手法

• 非凸最適化問題を、最適解に集中する事後分布のモードを標的とするベイジアンサンプリング問題に再定式化する。
• SG-MCMCフレームワークを採用し、限られたメモリを用いた BFGS 更新によって逆ヘッセ行列を近似する確率的勾配に基づく更新則を導出する。
• ワーカープロセスが同期をとらずに独立してミニバッチをサンプリングし、ヘッセ行列の近似を更新できるように、非同期更新を導入する。
• データのランダムサブセット上で計算される不偏な勾配推定子 $\nabla\tilde{U}(\theta)$ を使用する。
• ヘッセ行列近似 $H_n$ に小さな $\rho I$ 正則化を追加することで数値安定性を維持する。
• 前提条件付きランジュバンダイナミクスステップを統合し、非同期更新下でも目標分布への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非同期で分散アーキテクチャに効果的に拡張可能な確率的 L-BFGS は、収束保証を維持できるか？
• RQ2 非凸設定下における非同期確率的 L-BFGS の理論的収束速度は何か？
• RQ3 実際の分散環境下で、ワーカー数の増加に伴い線形スループット向上が達成されるか？
• RQ4 実世界の非凸問題において、非同期 L-BFGS の性能は同期型および確率的勾配ベースラインと比べてどのように差がつくか？
• RQ5 非同期に起因する遅延や古くなった勾配の影響は、収束性と解の品質にどのような影響を与えるか？

主な発見

• 提案された as-L-BFGS アルゴリズムは、$N$ を総反復回数として、$\mathcal{O}(1/\sqrt{N})$ のエルゴディック全収束速度を達成する。
• 理想状態では、ワーカー数の増加に伴い線形スループット向上を示す。ML-1M データセットを用いた実験で、最大10ワーカーまでに確認された。
• MovieLens データセットにおいて、as-L-BFGS は最終的な RMSE で同期型 mb-L-BFGS を上回り、勾配のフラクチュエーションが高かろうとも、より良い局所最適解の探索が可能であることが示された。
• 100万～2000万件のレーティングを含む大規模な行列分解タスクにおいて、as-L-BFGS は同期型 mb-L-BFGS より顕著な高速化を達成した。
• ワーカー数が20に増加すると、$l_{\text{max}}h$ 項の支配的影響により不安定性が生じ、ステップサイズの縮小とより長い訓練時間が必要となった。
• 実データにおいて、as-L-BFGS は a-SGD よりも同等または速い収束を達成しており、ステップあたりの計算コストが高かろうとも、L-BFGS が曲率情報を有効に活用することでパフォーマンスに優位性を示していることが示唆された。