[論文レビュー] Rethinking Normalization and Elimination Singularity in Neural Networks

Siyuan Qiao, Huiyu Wang+3 more|arXiv (Cornell University)|Nov 21, 2019

Neural Networks and Applications参考文献 46被引用数 8

ひとこと要約

本稿では、バッチ統計とチャネル統計を組み合わせることで、深層ニューラルネットワークが消失特異点に近づくのを防ぐ、新しい正則化手法であるバッチチャネル正則化（BCN）を提案する。消失特異点とは、損失関数の形状において性能を劣化させる退化した点である。BCNは、特に標準のチャネルベース正則化が失敗する大規模バッチおよびマイクロバッチ学習設定において、モデルをこれらの特異点から安全な距離に保つことで、画像分類、物体検出、セグメンテーションタスクのパフォーマンスを向上させる。

ABSTRACT

In this paper, we study normalization methods for neural networks from the perspective of elimination singularity. Elimination singularities correspond to the points on the training trajectory where neurons become consistently deactivated. They cause degenerate manifolds in the loss landscape which will slow down training and harm model performances. We show that channel-based normalizations (e.g. Layer Normalization and Group Normalization) are unable to guarantee a far distance from elimination singularities, in contrast with Batch Normalization which by design avoids models from getting too close to them. To address this issue, we propose BatchChannel Normalization (BCN), which uses batch knowledge to avoid the elimination singularities in the training of channel-normalized models. Unlike Batch Normalization, BCN is able to run in both large-batch and micro-batch training settings. The effectiveness of BCN is verified on many tasks, including image classification, object detection, instance segmentation, and semantic segmentation. The code is here: https://github.com/joe-siyuan-qiao/Batch-Channel-Normalization.

研究の動機と目的

• 正則化手法が消失特異点からの距離に与える影響を調査すること。消失特異点はモデル性能を劣化させる要因である。
• チャネルベース正則化（例：レイヤー正則化、グループ正則化）が、なぜこれらの特異点から安全な距離を保てないのかを特定すること。
• バッチの知識を活用して、チャネル正則化モデルのロバスト性とパフォーマンスを向上させる正則化手法を開発すること。
• BCNの有効性を、画像分類およびインスタンスセグメンテーションを含む多様なビジョンベンチマークで検証すること。
• 正則化と損失関数の特異点回避との関連を理論的および実験的に明らかにすることで、正則化の新たな理解を提供すること。

提案手法

• BCNは、バッチ正則化の統計とチャネル単位の正則化を組み合わせ、モデルが消失特異点に近づくのを防ぐ。
• まずバッチ次元に沿って平均と標準偏差の正則化を適用し、その後各チャネルグループ内でチャネル単位の正則化を実行する。
• 可学習パラメータ γ と β を用いたアフィン変換を適用し、正則化された特徴量をスケーリング・シフトする。これは標準の正則化レイヤーと同様の仕組みである。
• BCNは大規模バッチおよびマイクロバッチ学習に対しても対応可能であり、標準バッチ正則化の主な限界を克服する。
• 正則化は合成関数として適用される：まずバッチ統計を計算し、次に各グループ内でチャネル統計を適用し、最後にアフィン変換を適用する。
• 特にチャネルベース正則化と併用する場合に性能をさらに向上させるために、重み標準化もBCNと併用する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化は、モデルを消失特異点から遠ざけるのに有効であるか。もしそうなら、その理由は何か？
• RQ2 なぜレイヤー正則化やグループ正則化といったチャネルベース正則化手法は、消失特異点から安全な距離を保てないのか？
• RQ3 チャネル正則化モデルに、バッチの知識を効果的に統合できるか？
• RQ4 大規模バッチとマイクロバッチ学習の両方で良好に動作する正則化手法を設計することは可能か？
• RQ5 さまざまな正則化手法において、消失特異点からの距離とモデルパフォーマンスの相関関係は何か？

主な発見

• バッチ正則化は、消失特異点からモデルを遠くに保つことに成功しており、これがその優れた学習安定性とパフォーマンスの要因である。
• レイヤー正則化とグループ正則化は、消失特異点からの安全な距離を保証できない。特にレイヤー正則化はグループ正則化よりも劣る性能を示す。
• 重み標準化は、レイヤー正則化およびグループ正則化の両方の性能を向上させ、特異点からモデルを遠ざけることで、実際の応用における良好な効果を説明できる。
• 提案されたバッチチャネル正則化（BCN）は、標準の正則化手法が劣化するマイクロバッチ設定ですら、モデルが消失特異点に近づくのを効果的に防ぐ。
• BCNは、ImageNet分類、PASCAL VOC検出、MS COCOインスタンスセグメンテーションを含む、複数のビジョンタスクでベースライン正則化手法を上回る性能を示す。
• BCNは、大規模バッチおよびマイクロバッチ学習の両方で一貫したパフォーマンス向上を実現しており、さまざまな学習環境におけるロバスト性と一般化性能を示している。