[論文レビュー] Batch-normalized Maxout Network in Network

Jia-Ren Chang, Yong‐Sheng Chen|arXiv (Cornell University)|Nov 9, 2015

Neural Networks and Applications参考文献 24被引用数 89

ひとこと要約

本論文では、ネットワーク・イン・ネットワークフレームワーク内に標準的なMLPの代わりにマックスアウトMLPを導入することで、特徴の抽象化とモデルの識別能を向上させる深層学習アーキテクチャ「Maxout Network in Network（MIN）」を提案する。バッチ正規化、ドロップアウト、平均プーリングを統合することで、勾配の飽和を軽減し、過学習を防ぎ、空間的情報を保持する。MNIST、CIFAR-10、CIFAR-100で最先端の性能を達成し、SVHNでも優れた結果を示した。

ABSTRACT

This paper reports a novel deep architecture referred to as Maxout network In Network (MIN), which can enhance model discriminability and facilitate the process of information abstraction within the receptive field. The proposed network adopts the framework of the recently developed Network In Network structure, which slides a universal approximator, multilayer perceptron (MLP) with rectifier units, to exact features. Instead of MLP, we employ maxout MLP to learn a variety of piecewise linear activation functions and to mediate the problem of vanishing gradients that can occur when using rectifier units. Moreover, batch normalization is applied to reduce the saturation of maxout units by pre-conditioning the model and dropout is applied to prevent overfitting. Finally, average pooling is used in all pooling layers to regularize maxout MLP in order to facilitate information abstraction in every receptive field while tolerating the change of object position. Because average pooling preserves all features in the local patch, the proposed MIN model can enforce the suppression of irrelevant information during training. Our experiments demonstrated the state-of-the-art classification performance when the MIN model was applied to MNIST, CIFAR-10, and CIFAR-100 datasets and comparable performance for SVHN dataset.

研究の動機と目的

• ReLUユニットを用いた深層ネットワークにおける勾配の消失と飽和の問題を解消すること。
• 初期層における学習された特徴の識別能とロバスト性を向上させること。
• バッチ正規化とドロップアウトにより、内部共変量シフトを軽減し、過学習を防止すること。
• 局所受容野における平均プーリングを用いて、空間的平行移動耐性と情報の抽象化を向上させること。
• ターゲットオブジェクトとノイズオブジェクト（干渉要因）の両方を効果的に認識できるようにすること。

提案手法

• ネットワーク・イン・ネットワークにおける標準的な多層パーセプトロン（MLP）を、2層のマックスアウトMLPに置き換え、区分線形活性化関数を学習する。
• 各マックスアウト層の前段にバッチ正規化を適用し、入力の前処理を行い、内部共変量シフトを低減する。
• 訓練中にドロップアウトを統合し、ニューロンの共適応を防ぎ、過学習を軽減する。
• すべてのプーリング層で最大プーリングの代わりに平均プーリングを用いることで、局所特徴をすべて保持し、オブジェクト位置の変化に対するロバスト性を向上させる。
• 最終畳み込み層の後にグローバル平均プーリングを適用し、空間的情報を集約し、全結合層を置き換える。
• 畳み込み、マックスアウトMLP、バッチ正規化、ドロップアウト、平均プーリングを統合したMINブロックを設計し、階層的特徴抽象化のための再利用可能なユニットとする。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおいて、マックスアウトMLPはReLUベースのMLPに比べて特徴の抽象化を向上させ、勾配の飽和を軽減できるか？
• RQ2 バッチ正規化は、提案アーキテクチャにおいて内部共変量シフトをどの程度軽減し、学習の安定性を向上させるか？
• RQ3 空間的変動に対して、平均プーリングは最大プーリングに比べて関連する特徴をどれほど効果的に保持できるか？
• RQ4 人間の視覚系と同様に、複雑なシーンにおけるターゲットオブジェクトと干渉要因（distractors）の両方を効果的に認識できるか？
• RQ5 マックスアウトMLPと平均プーリングの統合により、MNIST、CIFAR-10、CIFAR-100、SVHNといった標準ベンチマークデータセットで最先端の性能が達成できるか？

主な発見

• MINモデルは、MNIST、CIFAR-10、CIFAR-100の各データセットで最先端の分類精度を達成し、NIN や DSN といった既存手法を上回った。
• SVHNデータセットでは、最先端モデルと同等の性能を示し、ターゲットの数字と干渉要因の両方を効果的に認識するロバスト性を示した。
• 特徴マップの可視化結果から、MINはNINに比べて前景オブジェクトおよび背景領域の両方に対してより直感的かつ識別に優れた表現を学習していた。
• SVHNにおいて、モデルは干渉要因をランナーアップ予測として正しく特定しており、人間の視覚処理と類似した効果的なカテゴリカル表現と特徴の競合メカニズムを示した。
• 平均プーリングによりすべての局所特徴が保持され、不要な情報を効果的に抑制し、特に空間的変動に対して一般化性能が向上した。
• マックスアウトMLP、バッチ正規化、平均プーリングの組み合わせにより、モデルのロバスト性と特徴抽象化能力が顕著に向上し、定性的・定量的評価で裏付けられた。