[論文レビュー] Training Better CNNs Requires to Rethink ReLU.

Gangming Zhao, Zhaoxiang Zhang+2 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Neural Network Applications参考文献 16被引用数 7

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）における標準的な1:1の畳み込み層とReLU層の比率が一般化性能を制限していると主張し、一般化性能の向上を図るための比例的N:M（N>M）モジュールを提案する。ReLUの役割を再考し、可変な比率によるアンサンブルとしてモデル化することで、特徴表現が向上し、多様なネットワークとベンチマークにおいて一貫した精度向上が達成される。

ABSTRACT

With the rapid development of Deep Convolutional Neural Networks (DCNNs), numerous works focus on designing better network architectures (i.e., AlexNet, VGG, Inception, ResNet and DenseNet etc.). Nevertheless, all these networks have the same characteristic: each convolutional layer is followed by an activation layer, a Rectified Linear Unit (ReLU) layer is the most used among them. In this work, we argue that the paired module with 1:1 convolution and ReLU ratio is not the best choice since it may result in poor generalization ability. Thus, we try to investigate the more suitable convolution and ReLU ratio for exploring the better network architectures. Specifically, inspired by Leaky ReLU, we focus on adopting the proportional module with N:M (N$>$M) convolution and ReLU ratio to design the better networks. From the perspective of ensemble learning, Leaky ReLU can be considered as an ensemble of networks with different convolution and ReLU ratio. We find that the proportional module with N:M (N$>$M) convolution and ReLU ratio can help networks acquire the better performance, through the analysis of a simple Leaky ReLU model. By utilizing the proportional module with N:M (N$>$M) convolution and ReLU ratio, many popular networks can form more rich representations in models, since the N:M (N$>$M) proportional module can utilize information more effectively. Furthermore, we apply this module in diverse DCNN models to explore whether is the N:M (N$>$M) convolution and ReLU ratio indeed more effective. From our experimental results, we can find that such a simple yet effective method achieves better performance in different benchmarks with various network architectures and the experimental results verify that the superiority of the proportional module.

研究の動機と目的

• 標準的な畳み込み層とReLU層の1:1の比率が、深層CNNにおける一般化を制限するかどうかを調査すること。
• 特徴表現とモデル性能の向上に寄与する可能性がある、畳み込み層とReLU層の代替的な比率を探索すること。
• 比例的N:M（N>M）モジュールが、単純ながらも強力なアーキテクチャ的改善であることを検証すること。
• N:Mモジュールが、アーキテクチャの大幅な見直しを伴わずに、複数の標準的なCNNアーキテクチャで性能を向上させることを示すこと。

提案手法

• Leaky ReLUのアンサンブル的挙動にインspiredされた、N:M（N>M）の畳み込みとReLUの比率を持つ比例的モジュールを提案する。
• 異なる畳み込みとReLUの比率を持つネットワークの暗黙的アンサンブルとしてN:Mモジュールをモデル化し、特徴の多様性を向上させる。
• 柔軟な比率設定を可能にしつつ、計算効率を維持するための簡単な再パrameterizationを導入する。
• 標準的な1:1ブロックを新しい比例的ユニットに置き換えることで、既存のアーキテクチャ（例：ResNet、VGG、DenseNet）にN:Mモジュールを適用する。
• 標準ベンチマーク（例：ImageNet、CIFAR）上でモデルを訓練・評価し、標準的なReLUベースのベースラインと性能を比較する。
• さまざまなN:M比率が活性化統計および特徴学習ダイナミクスに与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準的な1:1の畳み込み層とReLU層の比率を、N:M（N>M）の比率に置き換えることで、深層CNNにおける一般化性能が向上するか？
• RQ2 N:Mモジュールは暗黙的アンサンブルと見なせるか？また、この視点は性能向上を説明できるか？
• RQ3 標準的なReLUユニットと比較して、N:Mモジュールは特徴表現と活性化パターンにどのように影響を与えるか？
• RQ4 N:Mモジュールは、多様なネットワークアーキテクチャとデータセットにおいて一貫して性能を向上させるか？
• RQ5 性能と複雑さの最良のトレードオフを達成するための最適なN:M比率の範囲は何か？

主な発見

• N:M（N>M）の畳み込みとReLUの比率は、ImageNet や CIFAR などの複数のベンチマークデータセットにおいて、一貫してテスト精度を向上させる。
• 多様な活性化パターンを可能にすることで、さまざまな情報の有効利用が可能になり、特徴表現が向上する。
• ResNet や DenseNet といった既存のアーキテクチャに、プラグインとして適用しても改善が観察される。
• モデルの複雑さを増加させず、アーキテクチャの再設計を要せずとも、標準的なReLUベースのネットワークを上回る性能を達成する。
• その有効性は、N:Mモジュールのアンサンブル的挙動に起因し、頑健で多様な特徴学習を促進する。
• 実験的結果により、N:Mモジュールの優位性が、さまざまなネットワークの深さと幅において一貫して確認される。