[論文レビュー] Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units

Wenling Shang, Kihyuk Sohn+2 more|arXiv (Cornell University)|Mar 16, 2016

Advanced Neural Network Applications参考文献 28被引用数 163

ひとこと要約

本論文は Concatenated ReLU (CReLU) を導入し、CNN における正の位相情報と負の位相情報の両方を保持することを提案し、その再構成特性を分析し、初期層に CReLU を適用することで CIFAR-10/100 と ImageNet でパラメータを減らしつつ精度が向上することを示す。

ABSTRACT

Recently, convolutional neural networks (CNNs) have been used as a powerful tool to solve many problems of machine learning and computer vision. In this paper, we aim to provide insight on the property of convolutional neural networks, as well as a generic method to improve the performance of many CNN architectures. Specifically, we first examine existing CNN models and observe an intriguing property that the filters in the lower layers form pairs (i.e., filters with opposite phase). Inspired by our observation, we propose a novel, simple yet effective activation scheme called concatenated ReLU (CRelu) and theoretically analyze its reconstruction property in CNNs. We integrate CRelu into several state-of-the-art CNN architectures and demonstrate improvement in their recognition performance on CIFAR-10/100 and ImageNet datasets with fewer trainable parameters. Our results suggest that better understanding of the properties of CNNs can lead to significant performance improvement with a simple modification.

研究の動機と目的

• ReLU の下で反相対を成す下位層フィルターを特に対象とし、CNN の固有の性質を調査する。
• 正の位相情報と負の位相情報の両方を保持する簡易な活性化関数として Concatenated ReLU (CReLU) を提案する。
• CReLU を用いた CNN の再構成能力を理論的に分析する。
• CIFAR-10/100 および ImageNet に渡って実証的に CReLU を検証し、ReLU および AVR と比較する。
• CReLU における正則化効果と不変表現学習を評価する。

提案手法

• CReLU を ρ_c(x) = ([x]_+, [-x]_+) と定義し、線形畳み込みの後に正の活性化と負の活性化を結合させる。
• 再構成を理論的に特徴づける：単一の畳み込み層の後に CReLU を適用すると入力の部分空間を保持する（Proposition 2.1）。
• 複数のアーキテクチャとデータセットで CReLU を ReLU および AVR と比較し、モデル容量を制御する。
• 経験的指標を用いて不変性と正則化効果を評価し、Lipschitz/ラデマッハーの含意を議論する。
• CReLU の下でペアのグルーピングと独立した方向の理解のため、学習された重みの相関を分析する。
• conv1–conv4 の特徴に対して、簡単な反転技法と視覚化によって再構成品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な ReLU 活性化の下で、下位の CNN 層が負に相関したフィルターペアを学習し、冗長性を示すことができるか？
• RQ2 Concatenated ReLU 活性化はより多くの情報を保持し、再構成および不変性の性質を改善するのか？
• RQ3 ReLU を CReLU に置換することで CIFAR-10/100 および ImageNet で分類性能とパラメータ効率にどのような影響があるのか？
• RQ4 ReLU および AVR と比較した場合の CReLU の正則化と不変表現学習への含意は何か？
• RQ5 下位層で観察されるペアリング現象を CReLU が排除しつつ、より良い特徴利用を可能にするのか？

主な発見

• CReLU は同じニューロン数でも ReLU より一貫して認識性能を向上させ、実質的なパラメータ削減を可能にする。
• CReLU ベースのモデルは ReLU モデルより不変性スコアが高く、特にプーリング層の後で顕著である。
• 大規模 ImageNet 実験では初期の畳み込み層（conv1–conv4）に CReLU を適用することで最良の top-1/top-5 結果を得るが、深い層への CReLU 適用はさらなる改善をもたらさない。
• より深いネットワークを用いた CIFAR では、初期層への CReLU 組み込みが精度を大幅に向上させ、時にはパラメータを半減させる。
• 再構成分析は CReLU が情報を保持し、初期層の特徴から入力を再構成できることを示しており、その再構成性を裏付ける。
• 1x1強化 All-CNN風アーキテクチャでは、CReLU は基準と比較して明らかに少ないパラメータで競争力のあるまたは優れた結果を達成する。