[論文レビュー] Network In Network

Min Lin, Qiang Chen+1 more|arXiv (Cornell University)|Mar 4, 2014

Neural Networks and Applications被引用数 1,037

ひとこと要約

この論文は、局所的特徴抽象化を向上させるために、従来の畝込みフィルタを各受容野内に組み込まれたマイクロニューラルネットワーク（具体的には多層パーセプトロン）に置き換えることで、深層畝込みニューラルネットワークアーキテクチャ「Network In Network (NIN)」を提案している。これらのユニットを積み重ね、全結合層の代わりにグローバル平均プーリングを用いることで、NINは過学習を軽減し解釈性を向上させつつ、CIFAR-10およびCIFAR-100で最先端の性能を達成した。

ABSTRACT

Abstract: We propose a novel deep network structure called In Network (NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.

研究の動機と目的

• 従来の線形フィルタの代わりに、より複雑で非線形な構造を用いることで、畝込みニューラルネットワークにおける局所的特徴表現を改善すること。
• 全結合層をグローバル平均プーリングに置き換えることで、深層ネットワークにおける過学習を軽減すること。
• 従来の全結合層の高パラメータ数を排除することで、モデルの解釈性を向上させること。
• 広範なアーキテクチャの変更を加えずに、標準的な画像分類ベンチマークで最先端の性能を達成すること。

提案手法

• 各受容野内で動作する小さな多層パーセプトロン（MLP）を、標準的な畝込みフィルタに置き換えることで、非線形的に局所パターンをモデル化する。
• 入力特徴マップをマイクロMLPの入力に変換するための1x1畝込み層を用い、空間的位置間でのパラメータ共有を可能にする。
• マイクロネット内の各全結合層の後に非線形活性化関数を適用することで、表現能力を向上させる。
• 複数のNINブロックを積み重ねて深層アーキテクチャを構築し、各ブロックが前のレイヤーからの特徴マップを処理する。
• 従来のCNNにおける最終全結合層をグローバル平均プーリングに置き換えることで、パラメータ数と過学習を削減する。
• 標準的な最適化手法を用いて、バックプロパゲーションを用いてエンドツーエンドでネットワーク全体を訓練する。

実験結果

リサーチクエスチョン

• RQ1 線形畝込みフィルタを小さな全結合ネットワークに置き換えることで、畝込み層における局所的特徴抽象化が向上するか？
• RQ2 全結合層の代わりにグローバル平均プーリングを用いることで、深層ネットワークにおける一般化性能が向上し、過学習が軽減されるか？
• RQ3 マイクロMLPユニットを備えたより深いネットワークが、標準的な画像分類ベンチマークで最先端の性能を達成できるか？
• RQ4 CIFAR-10、CIFAR-100、SVHN、MNISTの各データセットにおいて、NINアーキテクチャは標準CNNと比較して性能と頑健性に優れているか？

主な発見

• NINはCIFAR-10データセットで最先端の性能を達成し、一般化性能が向上した。
• CIFAR-100においても、NINは高い分類精度を示し、より複雑な画像認識タスクへのスケーラビリティが有効であることを示した。
• SVHNおよびMNISTにおいても、妥当な性能を達成した。これは、多様なデータセットにわたる頑健性を確認するものである。
• 最終層におけるグローバル平均プーリングの使用により、全結合層と比較してパラメータ数が著しく削減され、過学習が軽減された。
• 各受容野内に組み込まれたマイクロMLP構造により、標準的な畝込みフィルタよりも表現力の高い局所的特徴モデリングが可能になった。
• 全体のアーキテクチャは、全結合層の排除とグローバル平均プーリングの採用により、解釈性が向上したことが示された。