[論文レビュー] Analysis and Optimization of Convolutional Neural Network Architectures

Martin Thoma|arXiv (Cornell University)|Jul 31, 2017

Advanced Neural Network Applications参考文献 56被引用数 57

ひとこと要約

この修士論文はCNN解析とトポロジー構築を分析し、混同行列ベースの可視化を導入し、階層的分類器を評価し、データ拡張と小さなバッチサイズを含む精度向上技術を報告し、複数のデータセットにわたる最先端モデルをコンパクトに達成します。

ABSTRACT

Convolutional Neural Networks (CNNs) dominate various computer vision tasks since Alex Krizhevsky showed that they can be trained effectively and reduced the top-5 error from 26.2 % to 15.3 % on the ImageNet large scale visual recognition challenge. Many aspects of CNNs are examined in various publications, but literature about the analysis and construction of neural network architectures is rare. This work is one step to close this gap. A comprehensive overview over existing techniques for CNN analysis and topology construction is provided. A novel way to visualize classification errors with confusion matrices was developed. Based on this method, hierarchical classifiers are described and evaluated. Additionally, some results are confirmed and quantified for CIFAR-100. For example, the positive impact of smaller batch sizes, averaging ensembles, data augmentation and test-time transformations on the accuracy. Other results, such as the positive impact of learned color transformation on the test accuracy could not be confirmed. A model which has only one million learned parameters for an input size of 32x32x3 and 100 classes and which beats the state of the art on the benchmark dataset Asirra, GTSRB, HASYv2 and STL-10 was developed.

研究の動機と目的

• CNN解析技術とトポロジー学習手法の包括的な概要を提供する。
• 分類誤差のための混同行列ベースの可視化を導入し、評価する。
• 階層型分類器（CMO）を開発・評価し、それらが性能に与える影響を分析する。
• CIFAR-100 および他のベンチマークで、データ拡張、小さなバッチサイズ、テスト時変換といった既知の精度向上手法を検証する。
• 複数のデータセット（Asirra、GTSRB、HASYv2、STL-10）で優れた結果を示すパラメータ数が<1MのコンパクトなCNNモデルを提示する。

提案手法

• 既存のCNN解析とトポロジー構築手法を概観する。
• 分類誤差のための新規混同行列ベースの可視化を開発する。
• 混同行列の知見に基づいて構築された階層型分類器を記述・評価する。
• CIFAR-100 での小さなバッチサイズ、アンサンブルの平均化、データ拡張、テスト時変換などの手法を実験的に検証する。
• 学習されたカラー空間変換やその他の潜在的な精度向上手段を調査する。
• 約100万パラメータのコンパクトなCNNモデルを構築し、複数データセットで競合的なベンチマークを達成する。

実験結果

リサーチクエスチョン

• RQ1 分類誤差の可視化はCNNアーキテクチャ設計にどのように情報を提供できるか？
• RQ2 階層型分類器は全体的な精度とロバスト性を向上させるか？
• RQ3 どのトレーニング手法（バッチサイズ、データ拡張、テスト時変換）がデータセット全体で信頼性高く精度を向上させるか？
• RQ4 多様なベンチマークで最先端の結果を達成するコンパクトなCNNを設計することは可能か？

主な発見

• CNNの誤りを分析するための混同行列ベースの可視化を開発した。
• 本手法に基づく階層型分類器を記述・評価した。
• 小さなバッチサイズ、平均化アンサンブル、データ拡張、テスト時変換は CIFAR-100 の精度にプラスの影響を与えた。
• 学習されたカラー空間変換はテスト精度の確認された向上を示さなかった。
• パラメータ数が1百万未満のモデルが競争力のある結果を達成し、Asirra、GTSRB、HASYv2、STL-10 のベンチマークで新しい最先端を確立した。