[論文レビュー] Batch Normalization Preconditioning for Neural Network Training

Susanna Lange Susanna Lange, Kyle Helfrich+1 more|arXiv (Cornell University)|Aug 2, 2021

Stochastic Gradient Optimization Techniques参考文献 42被引用数 7

ひとこと要約

この論文では、ネットワークアーキテクチャ内での正規化ではなく、ミニバッチ統計を用いてパラメータ勾配を前処理することによって、ニューラルネットワークの学習を改善する新規手法であるバッチ正規化前処理（BNP）を提案する。BNPは収束を早めるためにヘシアンの条件数を改善し、小規模または1サンプルのミニバッチでも効果的に機能する。また、バッチ正規化が学習をどのように改善するかの理論的洞察を提供し、オンライン学習や低バッチ設定において標準的なBNを上回る性能を発揮する。

ABSTRACT

Batch normalization (BN) is a popular and ubiquitous method in deep learning that has been shown to decrease training time and improve generalization performance of neural networks. Despite its success, BN is not theoretically well understood. It is not suitable for use with very small mini-batch sizes or online learning. In this paper, we propose a new method called Batch Normalization Preconditioning (BNP). Instead of applying normalization explicitly through a batch normalization layer as is done in BN, BNP applies normalization by conditioning the parameter gradients directly during training. This is designed to improve the Hessian matrix of the loss function and hence convergence during training. One benefit is that BNP is not constrained on the mini-batch size and works in the online learning setting. Furthermore, its connection to BN provides theoretical insights on how BN improves training and how BN is applied to special architectures such as convolutional neural networks. For a theoretical foundation, we also present a novel Hessian condition number based convergence theory for a locally convex but not strong-convex loss, which is applicable to networks with a scale-invariant property.

研究の動機と目的

• バッチ正規化（BN）の理論的限界を解消すること。BNは広く用いられているが、完全な理論的基盤に欠ける。
• ミニバッチ統計を用いて損失関数のヘシアンの条件数を直接調整することにより、学習収束を改善する前処理手法を開発すること。
• BNの利点を維持しつつ、BNが失敗する低バッチまたは1サンプルのミニバッチ設定でも効果的に機能する手法を構築すること。
• BNが学習を改善する理由を、ヘシアンの条件数と収束速度の観点から理論的に説明すること。
• 畳み込みニューラルネットワーク（CNNs）に対して、BNPフレームワークを通じて原理的かつ一貫したBNの適用法を導出すること。

提案手法

• BNPは、標準的なBNが隠れ活性化を正規化するのではなく、訓練中のパラメータ勾配に対してミニバッチ統計を用いて前処理を施す。
• この手法は、損失関数のヘシアンを調整することにより、隠れ変数の分散を暗黙的に正規化し、ヘシアンの条件数を改善することで収束を加速する。
• 前処理変換は損失関数のヘシアンから導出され、特定の条件下ではBNと理論的に同等であることが示され、理論的同等性が確立される。
• BNPは現在のミニバッチ、あるいはより大きなデータセットからの統計を用いるため、統計推定の柔軟性が得られ、小規模なバッチサイズに依存しなくなる。
• 畳み込みニューラルネットワーク（CNNs）への応用では、空間的およびチャネル次元における平均と分散の適切な統計を導出し、CNNにおける標準的なBNの適用を正当化する。
• 局所的に凸であり、強く凸でない損失関数に対して、ヘシアンの条件数に基づく収束理論を新たに構築し、ReLU活性化関数を備えたスケール不変ネットワークに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ヘシアンの条件数と収束解析を通じて、バッチ正規化をどのように理論的に正当化できるか。
• RQ2 アーキテクチャの変更を避け、オンライン学習や低バッチ設定でも動作する、バッチ正規化の代替となる前処理ベースの手法を開発できるか。
• RQ3 バッチ正規化と提案手法の間には、同等性と収束挙動においてどのような関係があるか。
• RQ4 畳み込みニューラルネットワークにおいて、バッチ正規化をどのように適切に適用すべきか。また、その適用法を原理的フレームワークから導出できるか。
• RQ5 提案手法は、極めて小さなバッチサイズや1サンプルのミニバッチといった困難な設定において、標準的なバッチ正規化を上回る性能を発揮するか。

主な発見

• BNPは標準的な学習設定ではBNと同等の性能を達成するが、低バッチまたは1サンプルのミニバッチ設定ではBNを顕著に上回る。
• BNPはオンライン学習設定でも効果的であり、小規模バッチによる統計の不安定さのためにBNが失敗する状況でも有効である。
• 理論的分析により、BNPはヘシアンの条件数を改善し、局所的に凸であり強く凸でない損失関数の地形において収束を早めることが示された。
• 特定の条件下ではBNPはBNと理論的に同等であり、BNが学習を改善する理由がヘシアンの条件数の改善に起因することを新たな説明として提供する。
• CNN向けのBNPの導出は、空間的およびチャネル次元にわたるバッチ統計を用いることにつながり、CNNにおける標準的なBNの適用を正当化する。
• MNIST、CIFAR-10、CIFAR-100、ImageNetにおける実験では、BNPは小バッチサイズ下でも正確性や学習速度を維持または向上させた。