[論文レビュー] Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence

Antoine Labatie, Dominic Masters+2 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 84被引用数 7

ひとこと要約

この論文では、ミニバッチ統計に依存しない正則化手法であるプロキシ正規化（PN）を導入する。PNは、学習可能なプロキシ分布を用いて活性化出力を正規化することで、バッチ正規化（BN）が持つスケール不変性や安定した活性化統計といった利点を模倣する。レイヤー正規化やグループ正規化と組み合わせることで、特にBNが性能を発揮できない低バッチサイズの設定においても、BNと同等またはそれ以上の性能を達成する。

ABSTRACT

We investigate the reasons for the performance degradation incurred with batch-independent normalization. We find that the prototypical techniques of layer normalization and instance normalization both induce the appearance of failure modes in the neural network's pre-activations: (i) layer normalization induces a collapse towards channel-wise constant functions; (ii) instance normalization induces a lack of variability in instance statistics, symptomatic of an alteration of the expressivity. To alleviate failure mode (i) without aggravating failure mode (ii), we introduce the technique "Proxy Normalization" that normalizes post-activations using a proxy distribution. When combined with layer normalization or group normalization, this batch-independent normalization emulates batch normalization's behavior and consistently matches or exceeds its performance.

研究の動機と目的

• レイヤー正規化やインスタンス正規化といったミニバッチに依存しない正規化手法が、広く用いられているにもかかわらず深層ネットワークで失敗する理由を特定すること。
• これらの手法が引き起こす具体的な失敗モード（例：チャネルごとの崩壊や統計的ばらつきの喪失）を分析すること。
• バッチ正規化の主な利点（例：スケール不変性や安定した活性化ダイナミクス）を保持しつつ、ミニバッチ統計に依存しない正規化手法を開発すること。
• プロキシ正規化と既存のミニバッチに依存しない正規化手法（例：レイヤー正規化）を組み合わせることで、複数のベンチマークでバッチ正規化を常に上回るか同等の性能を達成できることを実証すること。

提案手法

• 正規化がニューラルネットワークの挙動に与える影響を、前活性化の平均、分散、チャネルごとの分散、およびチャネルごとの共分散という4つの統計的性質を用いて定量化するフレームワークを提案する。
• ミニバッチ統計ではなく、参照分布の期待活性化統計から導出されるプロキシ分布を用いて、後活性化を正規化するプロキシ正規化（PN）を提案する。
• プロキシ分布を用いて、現在のバッチに依存しない正規化統計を計算することで、異なるバッチサイズにおいても安定的かつ一貫性のある正規化を実現する。
• PNをレイヤー正規化やグループ正規化と組み合わせることで、バッチ依存性のない正規化スキームを構築し、バッチ正規化の挙動を模倣する。
• 正規化プロセスを変換として定式化する：$\tilde{\mathbf{z}}^{l}_{\alpha,c} = \frac{\mathbf{z}^{l}_{\alpha,c} - \mu_c(\mathbf{z}^l)}{\sqrt{\mathrm{Var}_{\mathbf{x},\alpha}[\mathbf{z}^{l}_{\alpha,c}]}}$、ここで$\mu_c$および$\mathrm{Var}$はプロキシ分布から計算される。
• 理論的に、ガウス分布の仮定と追加パラメータがゼロの場合、PNが各チャネルでゼロ平均と単位分散を維持することを証明する。これにより、安定性とBNの不変性特性との整合性が保証される。

実験結果

リサーチクエスチョン

• RQ1 レイヤー正規化やインスタンス正規化といった標準的なミニバッチに依存しない正規化手法が、深層ネットワークに引き起こす具体的な失敗モードは何か？
• RQ2 バッチ正規化が小バッチ設定で性能を低下させる理由は何か？ そして、バッチ依存性を再導入せずにその劣化を緩和できるか？
• RQ3 ミニバッチ統計に依存しない正規化手法が、スケール不変性や安定した活性化ダイナミクスといったバッチ正規化の主な利点を再現できるか？
• RQ4 プロキシ分布をどのように用いることで、正規化統計を安定化させ、さまざまなバッチサイズでもネットワークの表現力が維持できるか？
• RQ5 既存のミニバッチに依存しない正規化手法（例：レイヤー正規化）と組み合わせたプロキシ正規化が、バッチ正規化を常に上回るか同等の性能を発揮するか？

主な発見

• プロキシ正規化は、ミニバッチに依存しない正規化手法の主な2つの失敗モード（レイヤー正規化におけるチャネルごとの崩壊、インスタンス正規化におけるインスタンスレベルのばらつき喪失）を効果的に緩和する。
• レイヤー正規化やグループ正規化と組み合わせた場合、ImageNetやその他のビジョンベンチマークにおいて、低バッチサイズでもバッチ正規化と同等またはそれ以上の性能を達成する。
• スケール不変性と安定した活性化分散を維持するため、深層残差ネットワークの学習を可能にする。
• 理論的分析により、ガウス分布の仮定と追加パラメータがゼロの場合、プロキシ正規化が各チャネルでゼロ平均と単位分散を維持することが示された。これにより安定性が保証される。
• 実験的結果から、複数のアーキテクチャとデータセットにおいて一貫した性能向上が確認され、プロキシ分布がバッチ依存性を排除しながらも正規化を安定化させることの有効性が裏付けられた。
• 本手法により、小バッチ、あるいは単一バッチでもバッチ正規化と同等の性能を維持した学習が可能となり、リソースが限られた環境や非i.i.d.な学習環境に適している。