[論文レビュー] Stochastic Nonconvex Optimization with Large Minibatches

Weiran Wang, Nathan Srebro|arXiv (Cornell University)|Sep 25, 2017

Stochastic Gradient Optimization Techniques参考文献 33被引用数 13

ひとこと要約

本稿では、非凸目的関数—特に深層学習—に対して、各ミニバッチにおける損失の正則化および非線形化を用いて、大規模なミニバッチを用いた新しい確率的最適化アルゴリズムを提案する。標準的なミニバッチSGDと比較して、近似臨界点への収束がより速く、サンプルの複雑さに関する理論的保証と、より大きなミニバッチサイズによる並列化の向上を達成する。

ABSTRACT

We study stochastic optimization of nonconvex loss functions, which are typical objectives for training neural networks. We propose stochastic approximation algorithms which optimize a series of regularized, nonlinearized losses on large minibatches of samples, using only first-order gradient information. Our algorithms provably converge to an approximate critical point of the expected objective with faster rates than minibatch stochastic gradient descent, and facilitate better parallelization by allowing larger minibatches.

研究の動機と目的

• 大規模なミニバッチを用いた深層ニューラルネットワークの学習における課題に取り組む。これは、並列化が向上する反面、性能が低下する傾向があるためである。
• 標準的なミニバッチSGDが非凸最適化において有する制限を理論的に分析する。特に、ミニバッチサイズが一定値を超えると一般化性能が低下する現象に焦点を当てる。
• 一次の勾配情報のみを用いて、大規模なミニバッチにおける損失の正則化と非線形化を施すことで、近似臨界点への収束がより速くなる新しいアルゴリズムを開発する。
• 標準的なミニバッチSGDと比較して、特に大規模なミニバッチ設定下で改善されたサンプル複雑さと収束速度に関する理論的境界を提供する。
• 一般化性能を維持したまま、大規模なミニバッチを用いた深層ネットワークの実用的学習を可能にする。理論的根拠に基づいた手法を提供する。

提案手法

• 各大規模ミニバッチにおいて、一次の勾配情報のみを用いて正則化され、非線形化された損失関数を最適化する確率的近似アルゴリズムを提案する。
• 局所的な曲率（ヘッセ行列の近似を介して）に依存する正則化項を導入し、非凸目的関数における最適化を安定化する。
• 反復点の重み付き平均化スキームを用いて、期待損失の近似臨界点への収束を達成する。
• 分散とバイアスのバランスを保つために、減少するステップサイズスケジュール $\eta_s = \frac{V^2 S}{L m} \cdot \frac{1}{s^5}$ を適用する。
• 負の曲率が有界である非凸関数を特徴付けるために、$\sigma$-ほぼ凸性の概念を活用し、収束解析をより厳密に可能にする。
• 再帰的不等式とLemma 8（Schmidtらによる）を用いて、最適解までの期待距離と関数値の差を上限で評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なSGDを用いた大規模ミニバッチによる深層ニューラルネットワークの学習では、並列化が向上する一方で一般化性能が低下するのか？
• RQ2 非凸設定下で、大規模なミニバッチを用いながらも、高速な収束性と良好な一般化性能を維持できる確率的最適化アルゴリズムを設計できるか？
• RQ3 大規模なミニバッチを用いた非凸確率的最適化において、近似臨界点への収束に関する理論的保証はどのようなものか？
• RQ4 同じ仮定下で、提案アルゴリズムの収束速度は標準的なミニバッチSGDと比べてどのように異なるか？
• RQ5 ほぼ凸性の性質は、大規模なミニバッチを用いた非凸目的関数の高速収束をどのように可能にするのか？

主な発見

• 提案アルゴリズムは、$\mathbb{E}[\|\nabla \phi(\mathbf{w})\|^2] \leq \varepsilon^2$ を達成し、サンプル複雑さが $\mathcal{O}(1/\varepsilon^2)$ となる。これは、大規模なミニバッチ設定下で、標準的なミニバッチSGDよりも優れたサンプル複雑さを示す。
• アルゴリズムの収束速度はミニバッチサイズ $m$ に対して有利にスケーリングされ、$\mathbb{E}[\sum_{s=1}^S s(F(\mathbf{x}_s) - F(\mathbf{x}^*))] \leq \frac{100V^2 S}{\lambda m}$ という境界を達成する。これは $m$ への依存性が改善されていることを示している。
• 損失関数の $\sigma$-ほぼ凸性を活用することで、標準的なミニバッチSGDよりも速いレートで近似臨界点への収束が保証される。
• 理論的解析により、一般化性能が大規模なミニバッチ下でも維持されることを示し、一般的に観察される性能低下の問題を解決する。
• 大規模なミニバッチにおける正則化と非線形化の適用により、収束速度や解の品質を犠牲にすることなく、より良い並列化が可能になる。
• アルゴリズムは $\mathcal{O}(1/\varepsilon^2)$ のサンプル複雑さで収束を達成し、期待関数値ギャップの境界が $\mathcal{O}(1/m)$ に比例する。これは、ミニバッチサイズが大きくなるに従い、より高い効率性を示している。