[論文レビュー] Spherical Perspective on Learning with Batch Norm.

Simon Roburin, Yann de Mont-Marin+4 more|arXiv (Cornell University)|Jun 23, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用数 4

ひとこと要約

この論文は、最適化をL2単位超球面上でモデル化することで、深層学習におけるバッチ正則化（BN）の幾何的枠組みを導入し、BN下でのSGD with momentumが制約付きAdamの一種と等価であることを明らかにした。この手法により、有効な学習率の導出が可能となり、分類精度を向上させる新しいAdam変種の開発が可能になった。複数のデータセットとアーキテクチャで実験的に検証された。

ABSTRACT

Batch Normalization (BN) is a prominent deep learning technique. In spite of its apparent simplicity, its implications over optimization are yet to be fully understood. In this paper, we study the optimization of neural networks with BN layers from a geometric perspective. We leverage the radial invariance of groups of parameters, such as neurons for multi-layer perceptrons or filters for convolutional neural networks, and translate several popular optimization schemes on the $L_2$ unit hypersphere. This formulation and the associated geometric interpretation sheds new light on the training dynamics and the relation between different optimization schemes. In particular, we use it to derive the effective learning rate of Adam and stochastic gradient descent (SGD) with momentum, and we show that in the presence of BN layers, performing SGD alone is actually equivalent to a variant of Adam constrained to the unit hypersphere. Our analysis also leads us to introduce new variants of Adam. We empirically show, over a variety of datasets and architectures, that they improve accuracy in classification tasks. The complete source code for our experiments is available at: this https URL

研究の動機と目的

• バッチ正則化を施したニューラルネットワークの最適化ダイナミクスを幾何学的視点から理解すること。
• バッチ正則化下でSGD with momentumと制約付きAdamとの等価性を説明すること。
• BN層を含む状況下でのSGDおよびAdamの有効な学習率を導出すること。
• 幾何的洞察に基づいた新たな最適化手法を開発し、モデルの精度を向上させること。
• 提案手法を多様なアーキテクチャとデータセットで実証的に検証すること。

提案手法

• ニューロンやフィルタなどのパラメータ群をL2単位超球面上の点としてモデル化し、径方向不変性を活用すること。
• 標準的な最適化手法（例：SGD, Adam）を単位超球面へと変換することで、幾何的構造を明らかにすること。
• 球面幾何学を用いて、BN下でのSGD with momentumおよびAdamの有効な学習率を導出すること。
• 単位超球面に制約を課した新しいAdam変種を提案し、幾何的不変性を維持すること。
• 超球面上の径方向および角度成分を用いて最適化ダイナミクスを定式化し、スケールと方向を分離すること。
• 画像分類ベンチマークを用いた広範な実験を通じて、提案手法の有効性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化を適用した深層ネットワークの最適化軌道は、幾何学的観点からどのように影響を受けるか？
• RQ2 バッチ正則化が適用された状況下で、SGD with momentumとAdamの真の関係は何か？
• RQ3 パラメータ群における径方向不変性は、より効果的な最適化アルゴリズムの導出に活用可能か？
• RQ4 バッチ正則化下でのSGDおよびAdamの有効な学習率は何か？そして幾何学的にどのように関連しているか？
• RQ5 球面最適化に基づいて導出された新しいAdam変種は、実際の一般化性能および分類精度を向上させるか？

主な発見

• バッチ正則化下でのSGD with momentumは、幾何学的には単位超球面上の制約付きAdamの一種と等価である。
• 球面幾何学を用いることで、AdamおよびSGD with momentumの有効な学習率を解析的に導出可能である。
• 球面定式化に基づいて導出された新しいAdam変種は、複数のデータセットおよびアーキテクチャで高い分類精度を達成した。
• モデルの複雑さや計算コストを増加させることなく、性能向上が達成された。
• 実験結果から、多様なネットワークアーキテクチャおよびベンチマークデータセットで一貫した精度向上が確認された。
• 提示された幾何的枠組みは、BN正則化付きネットワークにおける最適化ダイナミクスを統一的に理解する手がかりを提供する。