[論文レビュー] An Ensemble of Simple Convolutional Neural Network Models for MNIST Digit Recognition

Sanghyeon An, Min Jun Lee+3 more|arXiv (Cornell University)|Aug 12, 2020

Advanced Neural Network Applications参考文献 19被引用数 47

ひとこと要約

本論文は、バッチ正規化とデータ拡張を用いた単純なCNNで非常に高いMNISTのテスト精度（最大99.91%）を達成できること、そしてアンサンブル（異種を含む）によって性能がさらに向上することを示しています。

ABSTRACT

We report that a very high accuracy on the MNIST test set can be achieved by using simple convolutional neural network (CNN) models. We use three different models with 3x3, 5x5, and 7x7 kernel size in the convolution layers. Each model consists of a set of convolution layers followed by a single fully connected layer. Every convolution layer uses batch normalization and ReLU activation, and pooling is not used. Rotation and translation is used to augment training data, which is frequently used in most image classification tasks. A majority voting using the three models independently trained on the training data set can achieve up to 99.87% accuracy on the test set, which is one of the state-of-the-art results. A two-layer ensemble, a heterogeneous ensemble of three homogeneous ensemble networks, can achieve up to 99.91% test accuracy. The results can be reproduced by using the code at: https://github.com/ansh941/MnistSimpleCNN

研究の動機と目的

• 複雑なモデルや過度の調整を用いずに、単純なCNNアーキテクチャが非常に高いMNIST精度を達成できることを示す。
• カーネルサイズ、データ拡張、バッチ正規化、ネットワークアンサンブルがMNISTの性能に与える影響を調査する。
• MNISTのテスト精度を高めるための同質・異質のアンサンブル戦略の両方を検討する。

提案手法

• 3x3、5x5、7x7の畳み込み核を持つ3つのCNNを構築し、それぞれ最後に1つの全結合層を配置する。
• プーリングは適用せず、各畳み込みの後にバッチ正規化とReLUを用く。ドロップアウトは使用しない。
• ランダム平行移動（最大20%のシフト）とランダム回転（最大20度）で訓練し、入力を[-1, 1]の範囲に変換する。
• クロスエントロピー損失に対してAdamで最適化; 学習率は0.001から指数減衰（gamma=0.98）で開始。
• 評価時には重みの指数移動平均を使用（デケイ0.999）。
• 複数のシードをテスト（タイプあたり30ネットワーク）してアンサンブルは多数決投票を用いる。同質（同じカーネルタイプ）および異質（混在するカーネルタイプ）アンサンブルを評価する。

実験結果

リサーチクエスチョン

• RQ1 単純なCNNがバッチ正規化と最小限のプーリングで最先端のMNIST結果と競合できるか？
• RQ2 複数のCNNをアンサンブルするとMNISTの精度が向上するか、異質アンサンブルの方が同質アンサンブルより効果的か？
• RQ3 カーネルサイズ、データ拡張、バッチ正規化はMNISTの性能にどのような影響を与えるか？

主な発見

モデル	テスト精度	最小	平均	最大	ベスト
M3	99.5930 ± 0.0136	99.6949 ± 0.0058	99.7667 ± 0.0084	99.82	99.82
M5	99.5863 ± 0.0115	99.6835 ± 0.0074	99.7583 ± 0.0081	99.80	99.80
M7	99.5470 ± 0.0288	99.6711 ± 0.0089	99.7450 ± 0.0093	99.79	99.79

• 個々のネットワーク（M3、M5、M7）は、シード間で99.59%～99.76%程度の高いテスト精度を達成する。
• 同質アンサンブル（三つの同じタイプのネットワーク）は、単一ネットワークより精度を向上させ、例えばM3、M5、M7それぞれで最良が約99.86%になる。
• 異質アンサンブル（各タイプのネットワーク1つずつ）は同質アンサンブルより高い精度（99.87%）を達成する。
• 二段階アンサンブル（3つの同質アンサンブルのアンサンブル）で最高99.91%の精度まで達成する。
• データ拡張（回転と平行移動）は一貫して性能を向上させる；回転の影響は平行移動よりやや大きく、両方とも有益である。
• 全層にわたるバッチ正規化は最良の性能を提供し、すべての層でBNを用いる構成が他の構成より優れている。