[論文レビュー] Rethink ReLU to Training Better CNNs

Gangming Zhao, Zhaoxiang Zhang+3 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Neural Network Applications参考文献 21被引用数 6

ひとこと要約

本論文では、CNNにおける標準的な1:1畳み込み-ReLUペairをN:M比（N > M）に置き換える比例モジュールを提案する。これにより、畳み込み層の数に対してReLU活性化関数の数を減らすことができ、余分なReLUユニットを削除することで特徴表現と一般化性能が向上し、計算コストを増加させずに、ResNet や DFN を含む複数のアーキテクチャでCIFAR-10/100およびImageNetベンチマークでSOTA性能を達成する。

ABSTRACT

Most of convolutional neural networks share the same characteristic: each convolutional layer is followed by a nonlinear activation layer where Rectified Linear Unit (ReLU) is the most widely used. In this paper, we argue that the designed structure with the equal ratio between these two layers may not be the best choice since it could result in the poor generalization ability. Thus, we try to investigate a more suitable method on using ReLU to explore the better network architectures. Specifically, we propose a proportional module to keep the ratio between convolution and ReLU amount to be N:M (N>M). The proportional module can be applied in almost all networks with no extra computational cost to improve the performance. Comprehensive experimental results indicate that the proposed method achieves better performance on different benchmarks with different network architectures, thus verify the superiority of our work.

研究の動機と目的

• CNNにおける畳み込み層とReLU層の標準的な1:1比が一般化性能にとって最適であるかどうかを調査すること。
• 深層ネットワークにおけるReLUの冗長性が性能の飽和を引き起こす可能性があるという問題に対処すること。
• 線形情報をReLUによって失うのを防ぐことで特徴表現を向上させる、柔軟で計算的に効率的なモジュールを提案すること。
• ResNet や DFN、およびシンプルなネットワークを含む多様なアーキテクチャにおいて、比例モジュールの有効性を検証すること。
• より良いCNNアーキテクチャ開発のための汎用的設計原則を提供すること。

提案手法

• 畳み込み層とReLU層の間でN:M比（N > M）を持つ比例モジュールを提案し、ReLUの冗長性を低減する。
• 標準的な残差ブロックから最初のReLUを削除することで2:1比例モジュールを適用し、線形変換を保持する。
• FLOPs やパラメータ数を増加させずに、ResNet や DFN、およびシンプルなネットワークなどの既存アーキテクチャに比例モジュールを統合する。
• CONV-BN-CONV-BN-ReLU の順序を2:1比例モジュールとして用い、特徴学習と正則化を向上させる。
• CIFAR-10/100 および ImageNet といった複数のベンチマークでモジュールの性能を評価し、一般化性能とロバスト性を検証する。
• アブレーションスタディを用いて、ReLUの配置が与える影響、特に残差ブロックにおける最終ReLUの重要性を分析する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNにおけるReLUユニットの数を減らすことで、一般化性能が向上するか？
• RQ2 畳み込み層とReLU層の間で非一様な比（例：2:1）を採用することで、標準的な1:1ペアより優れた特徴表現が得られるか？
• RQ3 初期のReLUを削除することで、残差ブロックの学習能力と性能にどのような影響が生じるか？
• RQ4 提案された比例モジュールは、ResNet や DFN といった異なるネットワークアーキテクチャにおいても有効か？
• RQ5 残差ブロック内の異なるReLU位置がモデル性能に与える相対的な重要性は何か？

主な発見

• 2:1比例モジュール（最初のReLUを削除）により、CIFAR-100の精度がベースラインの75.59％から75.61％に向上し、分散は最小限に抑えられた。
• CIFAR-10では、精度が95.04％から95.26％に上昇し、複数のデータセットで一貫した向上が確認された。
• ResNet および DFN モデルにおいて、2:1比例モジュールがベースラインを上回り、広範な適用可能性が示された。
• プレアクティベーションボトルネックブロックにおける最終ReLUが性能に最も大きな影響を与えており、非線形変換の役割が顕著に示された。
• マージ＆ランブロックにおける最初のReLUは、要素ごとの加算後のReLUよりも重要であり、ブロックレベルの非線形性に果たす役割が明確に示された。
• 計算コストを増加させることなく性能が向上したため、比例モジュールの効率性と実用性が裏付けられた。