[論文レビュー] Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches

Guangrun Wang, Jiefeng Peng+3 more|arXiv (Cornell University)|Feb 9, 2018

Advanced Neural Network Applications参考文献 15被引用数 21

ひとこと要約

本稿では、深層ニューラルネットワークを統一されたシステムとして扱い、カルマンフィルタリングの原則に従って内部表現の統計推定を向上させる、新しい正規化手法であるバッチカルマン正規化（BKN）を提案する。BKNはマイクロバッチを用いた安定で高速な学習を可能にし、ImageNetでは64倍小さいバッチサイズで最先端の精度を達成し、CIFAR-10/100ではBNおよびその変種をそれぞれ1.5%および3.5%上回る性能を発揮する。

ABSTRACT

As an indispensable component, Batch Normalization (BN) has successfully improved the training of deep neural networks (DNNs) with mini-batches, by normalizing the distribution of the internal representation for each hidden layer. However, the effectiveness of BN would diminish with scenario of micro-batch (e.g., less than 10 samples in a mini-batch), since the estimated statistics in a mini-batch are not reliable with insufficient samples. In this paper, we present a novel normalization method, called Batch Kalman Normalization (BKN), for improving and accelerating the training of DNNs, particularly under the context of micro-batches. Specifically, unlike the existing solutions treating each hidden layer as an isolated system, BKN treats all the layers in a network as a whole system, and estimates the statistics of a certain layer by considering the distributions of all its preceding layers, mimicking the merits of Kalman Filtering. BKN has two appealing properties. First, it enables more stable training and faster convergence compared to previous works. Second, training DNNs using BKN performs substantially better than those using BN and its variants, especially when very small mini-batches are presented. On the image classification benchmark of ImageNet, using BKN powered networks we improve upon the best-published model-zoo results: reaching 74.0% top-1 val accuracy for InceptionV2. More importantly, using BKN achieves the comparable accuracy with extremely smaller batch size, such as 64 times smaller on CIFAR-10/100 and 8 times smaller on ImageNet.

研究の動機と目的

• バッチサイズが小さく、サンプル数が不十分なマイクロバッチ設定において、バッチ正規化（BN）の不安定さと性能の低さを解消すること。
• 非常に小さなミニバッチサイズを用いた場合の深層ニューラルネットワークにおける学習の安定性と収束速度の向上を図ること。
• ネットワーク全体を1つの動的システムとしてモデル化することで、全層にわたる依存関係を活用する正規化手法の開発を目的とすること。カルマンフィルタリングにインspiredしたアプローチ。
• 標準バッチサイズでのBNと同等の性能を達成しながら、特にリソース制約のある環境において、大幅にバッチサイズを削減すること。

提案手法

• BKNは、全深層ニューラルネットワークを1つの動的システムとしてモデル化し、層の統計量を独立ではなく相関関係のあるものとして扱う。
• 予測と観測の両方を組み合わせることで、各層の内部表現の平均と共分散を推定する。これはカルマンフィルタリングを模倣するものである。
• 予測ステップでは、直前の層の推定平均と共分散に基づき予測を行い、更新ステップではこの予測値と現在のミニバッチの統計量を融合する。
• 更新ステップにおけるゲイン係数は、予測分布と観測されたバッチ統計量の信頼度のバランスをとる。これにより、サンプル数が少ない状況でもロバスト性が向上する。
• BKNはBNと同様に、学習の反復ごとに統計量の移動平均を維持するが、層間の情報伝達により推定精度を向上させる。
• 正規化層は学習可能なスケールおよびシフトパラメータ（γおよびβ）を適用し、勾配はカルマンに類似した推定プロセスを介してバックプロパゲーションにより導出される。

実験結果

リサーチクエスチョン

• RQ1 全ネットワークを統一されたシステムとして扱う正規化手法は、層別正規化と比較してマイクロバッチ設定における学習安定性を向上させることができるか？
• RQ2 ミニバッチサイズが非常に小さい（例：10未満）状況において、カルマンフィルタリングにインspiredした統計推定は、バッチ統計量の信頼性をどのように向上させるか？
• RQ3 ImageNetにおいて、標準BN設定と比較して64倍小さいバッチサイズで学習を行う場合、BKNは性能を維持または向上させることができるか？
• RQ4 バッチサイズが極めて小さい状況において、BKNはバッチ再正規化（BRN）を上回る収束速度と最終的精度を達成できるか？
• RQ5 BKNは、CIFAR-10/100やImageNetといった標準ベンチマークで、最小限のバッチサイズで最先端の性能を達成できるか？

主な発見

• ImageNetでは、InceptionV2を用いて74.0%のトップ-1検証精度を達成し、公開済みのモデル・ザイの最高性能を上回った。
• CIFAR-10/100では、標準BNと比較して64倍小さいバッチサイズで学習を可能にしつつ、同等の精度を維持した。
• CIFAR-100では、バッチサイズが2のマイクロバッチを用いた場合、BNを3.5%上回る精度を達成し、極めて小さなバッチサイズに対しても強いロバスト性を示した。
• バッチサイズが2のとき、CIFAR-10ではBNがバッチサイズ128で達成した92.1%の精度と比較して、BKNは91.0%の精度を達成した。これは極端なマイクロバッチ設定下でも性能低下が最小限に抑えられていることを示している。
• BNおよびBRNと比較して、特に小さなバッチサイズを用いた初期学習段階において、BKNはより速い収束と高い学習安定性を示した。
• アブレーションスタディの結果、カルマンフィルタリング機構が不可欠であることが確認され、これを除去すると標準BNと同等の性能にとどまることとなった。