[論文レビュー] Weight Standardization

Siyuan Qiao, Huiyu Wang+3 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Neural Network Applications被引用数 49

ひとこと要約

この論文では、メモリ制約により1〜2枚の画像しか処理できないGPUを前提としたマイクロバッチ設定下で、標準的なバッチ正則化（BN）が性能を発揮できない問題を解決するため、ウェイト標準化（WS）とバッチチャネル正則化（BCN）を提案する。WSは、畳み込み層の重みをチャネルにわたり標準化することで、損失関数と勾配のリプシッツ定数を低減する。一方、BCNは、推定された活性化統計を用いてバッチ正則化とチャネル正則化を統合し、有害な特異点を回避する。この2つの手法により、オブジェクト検出、セグメンテーション、動画認識といったタスクで顕著な性能向上が得られ、大バッチでのBN性能をも凌駆する。

ABSTRACT

Batch Normalization (BN) has become an out-of-box technique to improve deep network training. However, its effectiveness is limited for micro-batch training, i.e., each GPU typically has only 1-2 images for training, which is inevitable for many computer vision tasks, e.g., object detection and semantic segmentation, constrained by memory consumption. To address this issue, we propose Weight Standardization (WS) and Batch-Channel Normalization (BCN) to bring two success factors of BN into micro-batch training: 1) the smoothing effects on the loss landscape and 2) the ability to avoid harmful elimination singularities along the training trajectory. WS standardizes the weights in convolutional layers to smooth the loss landscape by reducing the Lipschitz constants of the loss and the gradients; BCN combines batch and channel normalizations and leverages estimated statistics of the activations in convolutional layers to keep networks away from elimination singularities. We validate WS and BCN on comprehensive computer vision tasks, including image classification, object detection, instance segmentation, video recognition and semantic segmentation. All experimental results consistently show that WS and BCN improve micro-batch training significantly. Moreover, using WS and BCN with micro-batch training is even able to match or outperform the performances of BN with large-batch training.

研究の動機と目的

• GPU1〜2枚分の画像しか処理できないメモリ制約下で、バッチ正則化（BN）の性能劣化を是正すること。
• BNの主な利点の2つである損失関数の滑らかさと有害な特異点の回避を維持する手法を導入し、マイクロバッチ状況におけるBNの限界を克服すること。
• オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションなどのメモリ制約のあるビジョンタスクにおいて、マイクロバッチを用いた深層ネットワークの効果的学習を可能にすること。
• 実用的には不適切な大バッチサイズに依存せずに、訓練の安定性と性能を維持する手法の開発

提案手法

• ウェイト標準化（WS）は、畳み込み層の重みをチャネルにわたり標準化することで、損失関数と勾配のリプシッツ定数を低減する。
• WSは畳み込み層ごとに適用され、バッチ統計を必要としないため、マイクロバッチ学習に適している。
• バッチチャネル正則化（BCN）は、バッチ正則化とチャネル正則化を統合し、推定された活性化統計を用いて訓練を安定化させ、有害な消去特異点を回避する。
• BCNは、バッチレベルとチャネルレベルの両方の統計を活用することで、バッチサイズが小さい場合でも正則化の安定性を維持する。
• 提案手法は標準的な学習パイプラインに統合され、アーキテクチャの変更なしに多様なビジョンタスクに適用可能である。
• WSとBCNは、既存のモデルや最適化手法と互換性があり、即挿し可能な設計となっている。

実験結果

リサーチクエスチョン

• RQ1 BNが統計が不足するため失敗するマイクロバッチ学習において、ウェイト標準化が損失関数の滑らかさを効果的に向上させられるか？
• RQ2 バッチ正則化とチャネル正則化を組み合わせることで、マイクロバッチ条件下での訓練軌道における有害な特異点を緩和できるか？
• RQ3 WSとBCNの組み合わせにより、メモリ制約のあるビジョンタスクで大バッチBNと同等かそれ以上の性能を達成できるか？
• RQ4 WSとBCNは、アーキテクチャの変更なしに多様なコンピュータビジョンタスクに普遍的に適用可能か？

主な発見

• ウェイト標準化は、損失関数と勾配のリプシッツ定数を顕著に低減し、マイクロバッチ学習における損失関数の滑らかさを向上させる。
• バッチチャネル正則化は、小バッチでの訓練中にネットワークが有害な消去特異点に陥るのを効果的に防止する。
• WSとBCNの組み合わせにより、画像分類、オブジェクト検出、インスタンスセグメンテーション、動画認識、セマンティックセグメンテーションのあらゆるタスクで一貫した性能向上が得られる。
• WSとBCNを用いたマイクロバッチ学習は、すべての評価タスクで大バッチBNの性能をも凌駆するか同等の性能を達成する。
• 提案手法は、モデルアーキテクチャや学習ハイパーパrameterの変更なしに、強固で汎用性の高い性能向上を実現する。