[論文レビュー] Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units

Wenling Shang, Kihyuk Sohn+2 more|arXiv (Cornell University)|Mar 16, 2016

Advanced Neural Network Applications参考文献 30被引用数 237

ひとこと要約

論文は Concatenated ReLU (CReLU) を紹介し、正および負の位相情報の両方を保持する活性化を提案し、CReLU の再構成特性を分析し、CIFAR-10/100 および ImageNet でさまざまな CNN アーキテクチャに統合した際の性能向上とパラメータ効率を示します。

ABSTRACT

Recently, convolutional neural networks (CNNs) have been used as a powerful tool to solve many problems of machine learning and computer vision. In this paper, we aim to provide insight on the property of convolutional neural networks, as well as a generic method to improve the performance of many CNN architectures. Specifically, we first examine existing CNN models and observe an intriguing property that the filters in the lower layers form pairs (i.e., filters with opposite phase). Inspired by our observation, we propose a novel, simple yet effective activation scheme called concatenated ReLU (CRelu) and theoretically analyze its reconstruction property in CNNs. We integrate CRelu into several state-of-the-art CNN architectures and demonstrate improvement in their recognition performance on CIFAR-10/100 and ImageNet datasets with fewer trainable parameters. Our results suggest that better understanding of the properties of CNNs can lead to significant performance improvement with a simple modification.

研究の動機と目的

• CNN の下位畳み込み層における内部的な特性を特定し、冗長性を示唆する。
• 正と負の情報の両方を保持する単純な活性化関数 (CReLU) を提案する。
• CReLU を用いた CNN の再構成特性を理論的に分析する。
• CIFAR-10/100 および ImageNet の標準アーキテクチャを横断して、性能向上とパラメータ効率を実証する。

提案手法

• 初期 CNN 層におけるフィルタペアリングを観察・分析し、反対位相のペアを指摘する。
• Concatenated ReLU (CReLU) を [ReLU(x), ReLU(-x)] と定義する。
• 畳み込み層の後に CReLU を置いた場合の再構成能力を理論的に特徴づける（プーリングの有無を問わず）。
• CReLU を既存のアーキテクチャに統合（ReLU の置換として）し、CIFAR-10/100 および ImageNet で AVR と比較する。
• 経験的指標と単純な再構成を通じて正則化および不変性の特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 下位層の CNN フィルタは反対位相ペアを形成し、ReLU の下で冗長性を示唆しているのか。
• RQ2 正と負の位相情報の両方を保持する活性化（CReLU）が性能を改善し、パラメータを削減できるのか。
• RQ3 CReLU を用いた CNN の再構成能力はどの程度で、特徴表現の表現力にどう影響するのか。
• RQ4 実践における正則化と不変特徴の学習に CReLU はどのような影響を与えるのか。
• RQ5 ImageNet のような大規模データセットで、異なるネットワーク深さに対して CReLU を適用するとどうなるのか。

主な発見

• CReLU の統合は ReLU と比較して CIFAR-10/100 および ImageNet で認識性能を向上させ、パラメータ数は削減または同等となる。
• ReLU ネットの下位層フィルタは負の位相のペアリングを示すことが多いが、CReLU は両方の位相を保持することでペアリングの必要性を排除する。ImageNet では CReLU 使用時にペアリングは観測されない。
• CReLU は特定の設定で約半分のパラメータで同等またはより良い精度を達成できる。特に深いネットワークの初期層への適用時に顕著。
• 単一の CReLU 層は、再構成の範囲内で入力成分の情報を再構成するのに十分な情報を保持するという理論結果が得られ、表現力を支持する。
• CReLU モデルはデータセットを超えてより高い不変性スコアを示し、より頑健な表現を示唆する。
• 再構成実験は CReLU により意味のある特徴の反転が可能であることを示し、提案された再構成特性と整合する。