[論文レビュー] Cross-Iteration Batch Normalization

Zhuliang Yao, Yue Cao+3 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Neural Network Applications参考文献 27被引用数 16

ひとこと要約

本稿では、小バッチサイズ設定下でのバッチ正則化の性能を向上させるために、重みの変化を1次テイラー近似を用いて補正するクロスイテレーションバッチ正則化（CBN）を提案する。これにより、過去の活性化から正確な統計推定が可能になる。CBNは計算コストを最小限に抑えつつ、SyncBNと同等の性能を達成し、ImageNetおよびCOCOにおいて標準的なBNやナードなクロスイテレーション平均化を上回る性能を発揮する。

ABSTRACT

A well-known issue of Batch Normalization is its significantly reduced effectiveness in the case of small mini-batch sizes. When a mini-batch contains few examples, the statistics upon which the normalization is defined cannot be reliably estimated from it during a training iteration. To address this problem, we present Cross-Iteration Batch Normalization (CBN), in which examples from multiple recent iterations are jointly utilized to enhance estimation quality. A challenge of computing statistics over multiple iterations is that the network activations from different iterations are not comparable to each other due to changes in network weights. We thus compensate for the network weight changes via a proposed technique based on Taylor polynomials, so that the statistics can be accurately estimated and batch normalization can be effectively applied. On object detection and image classification with small mini-batch sizes, CBN is found to outperform the original batch normalization and a direct calculation of statistics over previous iterations without the proposed compensation technique. Code is available at https://github.com/Howal/Cross-iterationBatchNorm .

研究の動機と目的

• バッチサイズが小さい場合に生じる統計推定の信頼性の低さによるバッチ正則化（BN）の性能低下という、長年の問題に取り組む。
• 学習中の重み更新によって生じるイテレーション間での活性化の非同一性という課題を克服する。
• 同期されたバッチ処理を必要とせず、複数の最近のイテレーションからの例を活用することで、統計推定の質を向上させる。
• 推論速度を維持しつつ、SyncBNと同等またはそれ以上の性能を達成する軽量で効率的な手法を開発する。
• 適切に補正された時間的統計集約が、低バッチサイズ環境下での学習安定化に効果的であることを示す。

提案手法

• 現在のイテレーションだけでなく、最近の複数イテレーションの統計を用いるクロスイテレーションバッチ正則化（CBN）を提案する。
• ネットワーク重みに対する統計の1次テイラー多項式展開を用いて、イテレーション間の重み変化に起因する分布シフトを補正する。
• 重みに関する統計の勾配を用いて、現在のネットワーク重みにおける過去の活性化の平均および分散を近似する。
• 補正済みの過去イテレーションの統計と現在イテレーションの統計を平均化し、より頑健な推定値を得る。
• 再計算を避けるために、事前に計算された統計を用いることで、推論時のオーバーヘッドを最小限に抑える。
• 前回のイテレーションの必要な統計、勾配、重み状態のみを保存することで、効率的な実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク重みがイテレーション間で変化する状況下でも、クロスイテレーション統計が小バッチ学習におけるバッチ正則化の性能向上に寄与できるか？
• RQ2 異なる学習イテレーションからの活性化間の分布シフトをどのように是正すれば、信頼性の高い統計推定が可能になるか？
• RQ3 ネットワーク重みに関する統計の1次テイラー近似が、実際の重み変化に対して十分な補正を提供できるか？
• RQ4 画像分類およびオブジェクト検出タスクにおける精度と効率の観点から、CBNはGN、SyncBN、BNといった既存の正則化手法と比べてどのように差をつけるか？
• RQ5 CBNは、GPU間の同期処理を必要とせず、顕著な計算コスト増を伴わずに、SyncBNに近い性能を達成できるか？

主な発見

• ImageNetにおいて、GPUあたりバッチサイズ4でトップ1精度70.0%を達成し、標準的なBN（65.1%）およびナードなクロスイテレーション平均化（66.8%）を大きく上回る。
• 3イテレーションの時間的ウィンドウと1次テイラー補正を用いることで、ナードなクロスイテレーション平均化に対して3.2%、標準的なBNに対して4.9%の精度向上を達成（バッチサイズ4）。
• CBNは、複数GPU間で大規模な同期バッチを用いるSyncBNと同等の性能を、ImageNetおよびCOCOオブジェクト検出タスクで達成する。
• BNと比較してメモリは7%増加、FLOPsは11%増加にとどまり、学習速度はBNおよびGNと同等であり、推論速度はBNと同一である。
• 2次テイラー補正は1次補正よりも性能向上をもたらさないため、実用上は1次近似で十分な補正が可能である。
• 1層以上の補正を用いることは精度向上に寄与せず、計算コストを増加させるため、実際の応用では1層補正を標準として採用する。