[論文レビュー] EraseReLU: A Simple Way to Ease the Training of Deep Convolution Neural Networks

Xuanyi Dong, Guoliang Kang+2 more|arXiv (Cornell University)|Sep 22, 2017

Advanced Neural Network Applications参考文献 25被引用数 15

ひとこと要約

本論文は、ResNet、Pre-Act ResNet、Wide ResNet、ResNeXtなどのアーキテクチャにおいて、各残差ブロックの最後の層からReLU活性化関数を削除することで、非常に深い畳み込みニューラルネットワークの学習と性能を向上させるシンプルでありながら効果的な手法EraseReLUを提案する。このアプローチにより非線形性が低減され、勾配の流れが向上し、計算コストを増加させることなく最先端の結果が得られ、ResNet-152を用いた場合、ImageNet-10%で1.4%、ImageNetの全セットで0.6%のトップ-1精度向上を達成した。

ABSTRACT

For most state-of-the-art architectures, Rectified Linear Unit (ReLU) becomes a standard component accompanied with each layer. Although ReLU can ease the network training to an extent, the character of blocking negative values may suppress the propagation of useful information and leads to the difficulty of optimizing very deep Convolutional Neural Networks (CNNs). Moreover, stacking layers with nonlinear activations is hard to approximate the intrinsic linear transformations between feature representations. In this paper, we investigate the effect of erasing ReLUs of certain layers and apply it to various representative architectures following deterministic rules. It can ease the optimization and improve the generalization performance for very deep CNN models. We find two key factors being essential to the performance improvement: 1) the location where ReLU should be erased inside the basic module; 2) the proportion of basic modules to erase ReLU; We show that erasing the last ReLU layer of all basic modules in a network usually yields improved performance. In experiments, our approach successfully improves the performance of various representative architectures, and we report the improved results on SVHN, CIFAR-10/100, and ImageNet. Moreover, we achieve competitive single-model performance on CIFAR-100 with 16.53% error rate compared to state-of-the-art.

研究の動機と目的

• 非常に深いCNNにおける非線形性の低減が最適化を容易にし、一般化性能を向上させるかどうかを調査すること。
• 残差ブロック内のReLU層を削除することで勾配抑制を軽減し、学習ダイナミクスを改善できるかどうかを特定すること。
• 性能向上を最大化するための主要な設計要因——ReLU削除の位置と割合——を同定すること。
• 計算コストを増加させることなく、多様な最先端アーキテクチャにおいてEraseReLUの有効性を示すこと。

提案手法

• EraseReLUは、決定論的な方法で各残差ブロックの最終層からReLU活性化関数を削除する。
• この手法は、アーキテクチャを問わず同一のルールを適用する：基本モジュールの最後の層からReLUを削除する。
• ReLUを削除するモジュールの割合はハイパーパrameterとして調整され、100%がしばしば最適な結果をもたらす。
• このアプローチは、ResNet、Pre-Act ResNet、Wide ResNet、Inception-V2、ResNeXtなど複数のアーキテクチャに一貫して適用される。
• 理論的分析により、非常に深いネットワークではReLU層が勾配逆伝播を抑制することが示された。
• 実験では、公平な比較を保つために、同一のデータオーグメンテーションおよび前処理を用いた標準的な学習プロトコルが採用された。

実験結果

リサーチクエスチョン

• RQ1 深層CNNの特定の層からReLUを削除することで、一般化性能および学習安定性が向上するか？
• RQ2 性能向上を最大化するための、残差ブロック内でのReLU削除の最適な位置はどこか？
• RQ3 ReLUを削除するブロックの割合が、モデルの精度および収束に与える影響は何か？
• RQ4 EraseReLUは、FLOPsを増加させることなく、小規模（CIFAR）および大規模（ImageNet）のデータセットにおいて性能を向上させることができるか？
• RQ5 EraseReLUは、CIFAR-100やImageNetなどのベンチマークデータセットにおいて、最先端のモデルを上回るか、同等の性能を発揮するか？

主な発見

• EraseReLUは、ImageNet-10%においてResNet-50のトップ-1精度を1.4%向上させ、全ImageNetデータセットでは0.6%向上させた。
• CIFAR-100では、EraseReLUは16.53%の誤差率を達成し、Pre-act ResNet-1001を含む最先端のモデルを上回った。
• FLOPsに変化がないまま、CIFAR-10、CIFAR-100、SVHN、ImageNetの複数のアーキテクチャにおいて性能が向上した。
• すべての基本モジュールの最後の層からReLUを削除するアプローチが、他の設定よりも一貫して優れた結果をもたらした。
• このアプローチにより、初期の学習エポックで収束が早くなり、深層ネットワークにおける勾配抑制が軽減された。
• ImageNet-30%では、25%のReLU削除率でも元のモデルと同等の性能が達成されたことから、データセット規模に敏感であることが示された。