[論文レビュー] A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize

Tengteng Yu, Xinwei Liu+2 more|arXiv (Cornell University)|Oct 2, 2020

Stochastic Gradient Optimization Techniques参考文献 40被引用数 4

ひとこと要約

本稿では、収束を改善するために対角線のBarzilai-Borweeinステップサイズを用いる可変メトリックミニバッチプロキシマル確率的再帰勾配法であるVM-mSRGBBを提案する。強凸、非強凸、凸問題において線形収束を達成し、従来のバリアンス低減手法と比較して、より低い1反復コストと優れた実用的性能を示す。

ABSTRACT

Variable metric proximal gradient methods with different metric selections have been widely used in composite optimization. Combining the Barzilai-Borwein (BB) method with a diagonal selection strategy for the metric, the diagonal BB stepsize can keep low per-step computation cost as the scalar BB stepsize and better capture the local geometry of the problem. In this paper, we propose a variable metric mini-batch proximal stochastic recursive gradient algorithm VM-mSRGBB, which updates the metric using a new diagonal BB stepsize. The linear convergence of VM-mSRGBB is established for strongly convex, non-strongly convex and convex functions. Numerical experiments on standard data sets show that VM-mSRGBB is better than or comparable to some variance reduced stochastic gradient methods with best-tuned scalar stepsizes or BB stepsizes. Furthermore, the performance of VM-mSRGBB is superior to some advanced mini-batch proximal stochastic gradient methods.

研究の動機と目的

• 大規模な複合最適化において、標準的な確率的勾配法の高い1反復コストと遅い収束を改善すること。
• バリアンス低減と適応的メトリック選択を組み合わせることで、プロキシマル確率的勾配法の収束速度を向上させること。
• ミニバッチ方式と再帰的勾配更新、対角線Barzilai-Borweeinステップサイズを統合し、局所幾何構造のより良い近似を実現する手法を開発すること。
• 強凸、非強凸、凸の一般凸性仮定の下で、提案されたアルゴリズムに対する線形収束保証を確立すること。
• 最先端のバリアンス低減およびミニバッチプロキシマル確率的勾配法と比較して、優れた経験的性能を示すことを実証すること。

提案手法

• ヘッセ行列の近似を対角線Barzilai-Borweein（BB）ステップサイズで更新する可変メトリックミニバッチプロキシマル確率的再帰勾配法（VM-mSRGBB）を提案する。
• バリアンス低減のため再帰的勾配推定器を用い、反復間で勾配の累積平均を維持する。
• ミニバッチ方式を採用して確率的勾配のバリアンスを低減しつつ、1反復コストを低く保つ。
• 対角線BBステップサイズ戦略を用いてメトリックを適応的に更新し、計算効率と局所曲率近似の両立を図る。
• 正則化項R(w)のプロキシマル作用素を効率的に統合し、滑らかでない正則化問題への適用を可能にする。
• 強凸、非強凸、凸関数の3つの設定において収束解析を導出し、すべてのケースで線形収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 対角線Barzilai-Borweeinステップサイズは、可変メトリック確率的最適化において、1反復コストを維持したまま収束を改善できるか？
• RQ2 ミニバッチ化と再帰的勾配推定、対角線メトリック更新を組み合わせることで、既存のバリアンス低減手法よりも高速な収束が達成できるか？
• RQ3 一般凸性仮定（強凸、非強凸含む）の下で、提案されたアルゴリズムに対して線形収束を確立できるか？
• RQ4 VM-mSRGBBは、標準的な機械学習データセットにおいて、最適にチューニングされたスカラーステップサイズ法やBBステップサイズ法と比較して、どのように性能を発揮するか？
• RQ5 大規模な設定において、対角線メトリック選択戦略は、スカラーまたはフル行列メトリックと比較して、局所問題幾何をよりよく捉えられるか？

主な発見

• VM-mSRGBBは、強凸、非強凸、凸の複合最適化問題において線形収束を達成し、標準的手法を上回る理論的保証を拡張する。
• アルゴリズムは、最適にチューニングされたスカラーステップサイズまたはBBステップサイズを用いたバリアンス低減確率的勾配法と比較して、標準ベンチマークデータセットで優れた性能を示す。
• VM-mSRGBBは、大規模な学習タスクにおいて、収束速度と最終的な目的関数値の両面で、高度なミニバッチプロキシマル確率的勾配法を上回る。
• 対角線Barzilai-Borweeinステップサイズは、1反復コストを低く保ちつつ、局所曲率を効果的に捉えることができ、スカラーBBステップサイズよりも高速な収束を実現する。
• 数値実験により、提案手法がロバストでスケーラブルであることが確認され、特にnが大きく、R(w)のプロキシマル作用素が効率的に計算可能な場合に顕著である。
• 理論的解析により、再帰的勾配推定器がバリアンスを有界に保ち、やや厳しい仮定のもとでも安定かつ高速な収束を可能にすることが示された。