[論文レビュー] How Does Batch Normalization Help Binary Training?

Eyyüb Sari, Mouloud Belbahri+1 more|arXiv (Cornell University)|Sep 18, 2019

Advanced Neural Network Applications参考文献 11被引用数 26

ひとこと要約

この論文は、バッチ正則化（BatchNorm）が、勾配爆発を防ぐため、活性化の安定化やコバリエートシフトの低減とは異なる理由でバイナリニューラルネットワーク（BNN）の学習に不可欠であることを示している。従来のグロロット初期化はBNNでは効果がなく、収束にはバッチ単位の平均ゼロ化と固定スケーリング係数$1/\sqrt{K_{l-1}}$のみが必須であることが示され、エッジデバイスへの効率的なデプロイが可能になる。

ABSTRACT

Binary Neural Networks (BNNs) are difficult to train, and suffer from drop of accuracy. It appears in practice that BNNs fail to train in the absence of Batch Normalization (BatchNorm) layer. We find the main role of BatchNorm is to avoid exploding gradients in the case of BNNs. This finding suggests that the common initialization methods developed for full-precision networks are irrelevant to BNNs. We build a theoretical study on the role of BatchNorm in binary training, backed up by numerical experiments.

研究の動機と目的

• バッチ正則化（BatchNorm）が、成功したバイナリニューラルネットワーク（BNN）学習に不可欠である理由を調査すること。
• BNNにグロロットスタイルの重み初期化が有効であるという仮定に疑問を呈すること。
• BNNの収束に不可欠なBatchNormの構成要素を特定すること。
• エッジデバイス用のBNN学習のための軽量なBatchNorm代替手法を提案すること。
• BatchNormが存在しない場合にBNNの学習失敗の主因が勾配爆発であることを検証すること。

提案手法

• i.i.d.な重みと活性化の仮定の下でBNNにおける勾配フローの理論的分析により、潜在重みの分散が勾配分散を制御しないことを示した。
• BatchNormの勾配更新ルールの導出により、スケーリング（$\gamma_k$）とシフト（$\beta_k$）パラメータが勾配安定性に果たす役割を分離した。
• BatchNormを以下のものに置き換えたアブレーションスタディ：(1) バッチ平均ゼロ化のみ、(2) 固定スケーリング$1/\sqrt{K_{l-1}}$、(3) 正規化なし。
• VGG、ResNet-56、MobileNet-v1を用いたCIFAR-10上での実験的評価。初期化分散とBatchNorm設定を変化させた。
• BNNにおける符号関数を通過する逆伝播にクリッピングされたストレートスラッシュ推定器（clipped straight-through estimator）の使用。
• 初期化分散とBatchNorm構成要素のアブレーションに関する、精度の系統的比較。

実験結果

リサーチクエスチョン

• RQ1 多くの高精度モデルでは存在しないにもかかわらず、なぜバッチ正則化はバイナリニューラルネットワークの学習に不可欠なのか？
• RQ2 離散的な重みと活性化の制約があるBNNにおいて、グロロット初期化が依然として有効なのか？
• RQ3 BatchNormの構成要素であるスケーリング、シフト、またはゼロ化のうち、BNNにおける勾配爆発を防ぐためにどの要素が不可欠なのか？
• RQ4 固定で学習可能なスケーリング係数が、顕著な精度損失なしにBatchNormを置き換えることができるか？
• RQ5 重み初期化分散がBNNの学習ダイナミクスと最終精度に与える影響は何か？

主な発見

• BatchNormはBNNにおける勾配爆発を防ぐため、学習に不可欠である。この役割は、高精度ネットワークにおけるそれとは異なり、主因は勾配の不安定性である。
• グロロット初期化はBNNでは効果がない。潜在重みの分散が勾配分散に影響しないため、分散制御に基づく初期化手法は無関係である。
• 安定した学習に必要なのは、バッチ単位の平均ゼロ化のみ。学習可能なスケーリングパラメータ$\gamma_k$を$1/\sqrt{K_{l-1}}$に固定しても、顕著な精度損失は生じない。
• BatchNormを固定ゼロ化とスケーリング$1/\sqrt{K_{l-1}}$に置き換えると、ResNet-56でトップ1精度87.9%を達成し、BatchNormの88.8%に近く、両方を削除した場合の精度はわずか31.7%にとどまる。
• アブレーションスタディにより、BatchNormや適切なスケーリングがないネットワークは勾配爆発のため収束しないことが確認され、理論的分析が裏付けられた。
• 固定スケーリングと完全なBatchNormの間の精度差は、スケール係数のチューニング（例：$1/\sqrt{3K_{l-1}}$）により埋め合わせ可能であり、エッジデバイス向けの実用的代替手段であると示唆された。