[論文レビュー] Online to Offline Conversions, Universality and Adaptive Minibatch Sizes

Kfir Y. Levy|arXiv (Cornell University)|May 30, 2017

Stochastic Gradient Optimization Techniques被引用数 15

ひとこと要約

本稿では、滑らかさに関する事前知識が不要な状況でも、凸および非凸設定において適応的性能を達成する、普遍的な収束保証を持つオンラインからオフラインへの変換フレームワークを提案する。このフレームワークにより、勾配の大きさが大きい領域での分散を低減する、ミニバッチサイズを適応的に制御するラージ・SGDの変種を用いて、確率的最適化における適応的ミニバッチサイズ選択が可能になる。

ABSTRACT

We present an approach towards convex optimization that relies on a novel scheme which converts online adaptive algorithms into offline methods. In the offline optimization setting, our derived methods are shown to obtain favourable adaptive guarantees which depend on the harmonic sum of the queried gradients. We further show that our methods implicitly adapt to the objective's structure: in the smooth case fast convergence rates are ensured without any prior knowledge of the smoothness parameter, while still maintaining guarantees in the non-smooth setting. Our approach has a natural extension to the stochastic setting, resulting in a lazy version of SGD (stochastic GD), where minibathces are chosen \emph{adaptively} depending on the magnitude of the gradients. Thus providing a principled approach towards choosing minibatch sizes.

研究の動機と目的

• オンライン適応的アルゴリズムを、強い理論的保証を持つオフライン手法に変換することで、適応的オフライン最適化におけるギャップを埋める。
• 滑らかさパラメータの事前知識がなくても、目的関数の滑らかさに内在的に適応する手法を開発する。
• 大きなバッチサイズによる理論的劣化を回避しつつ、確率的最適化における適応的ミニバッチサイズ選択の原理的アプローチを提供する。
• 滑らかさが既知の状況での勾配降下法と同等の性能を達成する普遍的収束性を確保するとともに、滑らかでない設定でも安定性を維持する。

提案手法

• オンライン適応的アルゴリズムと勾配正規化、重要度重み付けを組み合わせた、新規のオンラインからオフラインへの変換スキームを導入する。
• 凸および強凸設定に対応するAdaNGDおよびSC-AdaNGDを設計し、勾配の調和級数を用いて収束速度を決定する。
• 勾配ノルムが小さい領域でミニバッチサイズを自動的に増加させるように設計された、確率的拡張版であるLazy-SGDを提案する。
• 実用的性能を向上させるために、nₛの代わりに1/‖g̃ₛ‖²を用いた修正された適応的推定手順を採用する。
• 適応的学習率メカニズムを通じて、目的関数の構造を暗黙的に活用し、滑らかでないケースを含む普遍的な適用性を実現する。
• オンライン適応、勾配正規化、重要度重み付けの三本の仕組みを統合し、ロバストで適応的な収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 オンライン適応的アルゴリズムを、強い理論的保証を持つオフライン手法に体系的に変換することは可能か？
• RQ2 滑らかさパラメータの事前知識がなくても、勾配降下法の収束速度に達する適応的最適化手法は構築可能か？
• RQ3 確率的最適化において、理論的効率を維持しつつ実用的性能を向上させるために、ミニバッチサイズをどのように適応的に選択できるか？
• RQ4 提案手法は、滑らかさの推定を明示的に行わずとも、滑らかさが既知の状況での性能を再現する普遍性を達成できるか？
• RQ5 適応的ミニバッチ選択は、確率的設定における分散低減および収束速度にどのような影響を与えるか？

主な発見

• AdaNGDおよびSC-AdaNGDは、滑らかさパラメータを事前に知らない状況でも、一般凸設定ではO(1/√T)、滑らかな凸設定ではO(1/T)の収束を達成する。
• 強凸設定では、一般状況でO(1/T)、滑らかな状況でO(exp(−γT))の収束を達成し、γは条件数を表す。
• SC-AdaNGDは普遍性を示す：滑らかさに適応し、滑らかな状況でも事前知識なしに標準的GDやラインサーチを上回る性能を発揮する。
• Lazy-SGDは、凸および強凸設定において、標準的SGDと同等の収束速度を達成するとともに、勾配が小さい領域でミニバッチサイズを適応的に増加させる。
• 実験により、SC-AdaNGDの変種は、定常および減少ステップサイズのGDよりも優れた性能を示し、特に滑らかでないおよび悪条件の問題で顕著に優位である。
• ロバストネス実験により、SC-AdaNGDは小さな勾配ノイズに対しても安定した収束を維持でき、摂動が加えられた勾配下でも耐性があることが確認された。