[論文レビュー] Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs

Jonathan Frankle, David J. Schwab+1 more|arXiv (Cornell University)|Feb 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 79

ひとこと要約

本論文は、他のすべての重みを凍結した状態で BatchNorm のアフィンパラメータ（gamma と beta）だけを訓練するだけで、驚くべき高い精度を達成できることを示しており、深い CNN のランダム特徴に対する特徴ごとのアフィイン変換の高い表現力を示している。

ABSTRACT

A wide variety of deep learning techniques from style transfer to multitask learning rely on training affine transformations of features. Most prominent among these is the popular feature normalization technique BatchNorm, which normalizes activations and then subsequently applies a learned affine transform. In this paper, we aim to understand the role and expressive power of affine parameters used to transform features in this way. To isolate the contribution of these parameters from that of the learned features they transform, we investigate the performance achieved when training only these parameters in BatchNorm and freezing all weights at their random initializations. Doing so leads to surprisingly high performance considering the significant limitations that this style of training imposes. For example, sufficiently deep ResNets reach 82% (CIFAR-10) and 32% (ImageNet, top-5) accuracy in this configuration, far higher than when training an equivalent number of randomly chosen parameters elsewhere in the network. BatchNorm achieves this performance in part by naturally learning to disable around a third of the random features. Not only do these results highlight the expressive power of affine parameters in deep learning, but - in a broader sense - they characterize the expressive power of neural networks constructed simply by shifting and rescaling random features.

研究の動機と目的

• すべての他のネットワーク重みが初期値で凍結される場合に、BatchNorm のアフィンパラメータ（gamma および beta）の表現力を評価する。
• 完全に訓練されたネットワークと比較して、BatchNorm のみを訓練したネットワークが CIFAR-10 および ImageNet でどれだけ性能を発揮するかを定量化する。
• BatchNorm のみを訓練可能とした場合に、深さと幅が性能にどう影響するかを調査する。
• gamma および beta の値がどのように変化し、特徴の剪定とスパース性にどのように寄与するかを分析する。

提案手法

• BatchNorm のアフィンパラメータ（gamma および beta）を訓練する以外は、すべてのネットワーク重みをランダム初期化のまま凍結する。
• CIFAR-10 および ImageNet で、ResNet の深さと幅を変化させてネットワークを評価する。
• 完全に訓練されたネットワークおよび同等数のランダムに選択されたパラメータを訓練した場合と性能を比較する。
• 学習された gamma/beta の分布と、それらが特徴のスパース性および活性化のスパース性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴に対して単独で訓練された場合、特徴ごとの BatchNorm パラメータはどれだけ表現力を持つか。
• RQ2 深い CNN で gamma と beta のみを訓練することで CIFAR-10 および ImageNet でどの程度の精度を達成できるか。
• RQ3 この限定的な訓練 regime において、ネットワークの深さと幅は性能にどう影響するか。
• RQ4 gamma/beta は特徴のサブセットを無効化するように学習するか、そしてそれが活性化にどのように影響するか。

主な発見

• gamma と beta のみを訓練すると、パラメータのランダムな部分集合を訓練した場合と比較して高い精度を得られる（例：深いネットワークで CIFAR-10 は最大 82%、ImageNet の top-5 は最大 32%）。
• 同等サイズのランダムなパラメータは BatchNorm のアフィンパラメータよりもはるかに低い性能で、gamma および beta の特徴ごとの力を強調している。
• BatchNorm のみの訓練では gamma はおおよそ 4 分の 1 から 3 分の 1 のチャネルを抑制することを学習し（0 に近い値）、特徴ごとのスパース性を示している。
• より深く広いネットワークは BatchNorm のみの精度を向上させ、同じ BatchNorm パラメータ予算に対して深さの方が幅より寄与が大きい。
• 出力を BatchNorm とともに訓練すると精度はさらに向上し、アフィインパラメータは重要だがSOTA性能には単独では不十分であることを示唆している。
• BatchNorm のみの訓練では活性化がスパース化され、ガンマがほぼゼロ近くになることで特徴の有意な割合が実質的に無効化される。