[論文レビュー] Stochastic Optimization of Plain Convolutional Neural Networks with Simple methods

Yahia Saeed Assiri|arXiv (Cornell University)|Jan 23, 2020

Neural Networks and Applications参考文献 16被引用数 16

ひとこと要約

この論文では、データ拡張、ドロップアウト、およびカスタムの早期停止基準を用いた、シンプルだが効果的な正則化パイプラインを、普通の畳み込みニューラルネットワーク（CNN）に提案している。これらの技術を組み合わせることで、MNIST、SVHN、STL10 で最先端の性能を達成し、CIFAR10 および CIFAR100 においても高い精度を示した。これは、アーキテクチャの複雑さを伴わずに、単純な手法でも競争力のある結果が得られることを示している。

ABSTRACT

Convolutional neural networks have been achieving the best possible accuracies in many visual pattern classification problems. However, due to the model capacity required to capture such representations, they are often oversensitive to overfitting and therefore require proper regularization to generalize well. In this paper, we present a combination of regularization techniques which work together to get better performance, we built plain CNNs, and then we used data augmentation, dropout and customized early stopping function, we tested and evaluated these techniques by applying models on five famous datasets, MNIST, CIFAR10, CIFAR100, SVHN, STL10, and we achieved three state-of-the-art-of (MNIST, SVHN, STL10) and very high-Accuracy on the other two datasets.

研究の動機と目的

• アーキテクチャの複雑さを伴わずに、普通のCNNにおける汎化性能の向上を目的とする。
• 視覚的パターン分類の分野において、単純な正則化手法を組み合わせることの有効性を調査すること。
• 最小限のアーキテクチャ的革新で、ベンチマークデータセット上で最先端の性能を達成すること。
• 実用的で導入可能な正則化戦略を用いて、高容量モデルの過学習を低減すること。

提案手法

• 残差接続や高度なモジュールを用いない普通のCNNを訓練する。
• データ拡張を適用して、訓練データの多様性とロバスト性を向上させる。
• 全結合層にドロップアウトを適用し、ニューロンの共適応を防ぐ。
• 検証損失が平らになるタイミングで学習を停止するカスタムの早期停止関数を設計する。
• これらの技術の組み合わせを、5つの標準データセットに対して体系的に評価する。
• 標準的なハイパーパrameterと標準的な最適化アルゴリズムを用いて、確率的最適化による訓練プロセスを実施する。

実験結果

リサーチクエスチョン

• RQ1 単純な正則化手法の組み合わせが、標準的なビジョンベンチマークにおいて、より複雑なアーキテクチャを上回ることができるか？
• RQ2 データ拡張をドロップアウトおよび早期停止と組み合わせた場合、普通のCNNにおける有効性はどの程度か？
• RQ3 残差接続や高度なモジュールを用いずに、普通のCNNがどの程度まで最先端の性能を達成できるか？
• RQ4 標準の早期停止と比較して、カスタムの早期停止関数が汎化性能に与える影響は何か？
• RQ5 提案されたパイプラインは、複雑さの異なる多様なデータセットに一般化可能か？

主な発見

• MNISTデータセットにおいて、先行研究を上回る最先端の精度を達成した。
• SVHNデータセットにおいても最先端の性能を達成し、ごみだらけの実世界の数字画像に対しても強い汎化性能を示した。
• STL10データセットでも最先端の結果を達成し、小スケールで複雑な画像に対してロバストであることを示した。
• CIFAR10およびCIFAR100においても高い精度を達成したが、最先端ではなかった。これは強力な汎化性能を確認するものであった。
• データ拡張、ドロップアウト、カスタムの早期停止の組み合わせにより、高容量モデルにおける過学習が顕著に低減された。
• アーキテクチャの単純さと効果的な正則化の組み合わせが、標準ベンチマークで競争力のある性能をもたらすことが示された。