[論文レビュー] Faster Stochastic Algorithms via History-Gradient Aided Batch Size Adaptation

Kaiyi Ji, Zhe Wang+2 more|arXiv (Cornell University)|Oct 21, 2019

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、履歴の確率的勾配を用いてバッチサイズを適応的に調整する手法である AbaSGD、AbaSVRG、AbaSPIDER を提案する。バックトラッキングを必要とせず、収束速度の向上を実現する。理論的収束複雑度の向上と最適化の局所的構造への適応性を達成し、実験では、vanilla 法および既存のバッチサイズ適応法を上回る性能を示した。

ABSTRACT

Various schemes for adapting batch size have been recently proposed to accelerate stochastic algorithms. However, existing schemes either apply prescribed batch size adaption or require additional backtracking and condition verification steps to exploit the information along optimization path. In this paper, we propose an easy-to-implement scheme for adapting batch size by exploiting history stochastic gradients, based on which we propose the Adaptive batch size SGD (AbaSGD), AbaSVRG, and AbaSPIDER algorithms. To handle the dependence of the batch size on history stochastic gradients, we develop a new convergence analysis technique, and show that these algorithms achieve improved overall complexity over their vanilla counterparts. Moreover, their convergence rates are adaptive to the optimization landscape that the iterate experiences. Extensive experiments demonstrate that our algorithms substantially outperform existing competitive algorithms.

研究の動機と目的

• 確率的最適化における固定バッチサイズまたはバックトラッキングに基づくバッチサイズ適応の限界を解決すること。
• 追加の条件チェックを必要とせず、履歴の確率的勾配を活用してバッチサイズ適応をガイドする手法の開発。
• より優れた収束複雑度と最適化の局所的構造への適応性を達成すること。
• 実装が容易であり、既存の競争的手法を実験的に上回るアルゴリズムの設計。

提案手法

• 履歴の確率的勾配のノルムを曲率情報の代理として用いる、新しいバッチサイズ適応ルールを導入。
• 標準的な確率的最適化アルゴリズムに、履歴勾配に基づくバッチサイズ適応ルールを統合することで、AbaSGD、AbaSVRG、AbaSPIDER を設計。
• バッチサイズが過去の勾配履歴に依存するという依存関係を扱うための新しい収束解析手法を開発。
• 勾配履歴が曲率が低いことを示唆する場合にはバッチサイズを増加させ、曲率が高い場合には減少させることで、分散と進行のバランスを取る。
• 局所最適化構造を反映するように、確率的勾配の履歴を用いてバッチサイズを動的に調整する。
• 他の適応的スキームで一般的に必要なバックトラッキングやラインサーチ手順を避けることで、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 バックトラッキングや固定スケジュールに依存するのではなく、履歴の確率的勾配情報を利用することで、バッチサイズ適応をより効率的に行えるか？
• RQ2 バッチサイズが過去の勾配に依存する関係を形式的に解析し、収束を保証するにはどうすればよいか？
• RQ3 提案手法が、vanilla 法および既存のバッチサイズ適応アルゴリズムよりも優れた全体の収束複雑度を達成できるか？
• RQ4 収束速度が最適化の局所的曲率にどの程度適応的か？
• RQ5 提案手法は、実世界の最適化タスクにおいて実用的効率を維持し、最先端のベースラインを上回るか？

主な発見

• 提案された AbaSGD、AbaSVRG、AbaSPIDER アルゴリズムは、それらのvanilla版と比較して、より優れた全体の収束複雑度を達成した。
• 提案手法の収束速度は、反復点が経験する最適化の局所的構造に適応的であることが示された。
• 広範な実験的評価において、既存の競争的手法を上回る性能を示した。
• 新しい収束解析手法は、バッチサイズが履歴勾配に依存するという依存関係を効果的に扱い、理論的保証を可能にした。
• バックトラッキングや追加の条件検証ステップを必要とせず、より速い収束を達成した。
• バッチサイズ適応メカニズムは、履歴勾配ノルムを追跡することで、分散低減と進行のバランスを効果的に実現した。