[论文解读] Analysis and Optimization of Convolutional Neural Network Architectures

Martin Thoma|arXiv (Cornell University)|Jul 31, 2017

Advanced Neural Network Applications参考文献 56被引用 57

一句话总结

本硕士论文分析 CNN 分析与拓扑构建，提出基于混淆矩阵的可视化方法，评估分层分类器，并报告提升准确率的技术，包括数据增强和小批量批次，最终在多个数据集上实现紧凑的、现有最先进的模型。

ABSTRACT

Convolutional Neural Networks (CNNs) dominate various computer vision tasks since Alex Krizhevsky showed that they can be trained effectively and reduced the top-5 error from 26.2 % to 15.3 % on the ImageNet large scale visual recognition challenge. Many aspects of CNNs are examined in various publications, but literature about the analysis and construction of neural network architectures is rare. This work is one step to close this gap. A comprehensive overview over existing techniques for CNN analysis and topology construction is provided. A novel way to visualize classification errors with confusion matrices was developed. Based on this method, hierarchical classifiers are described and evaluated. Additionally, some results are confirmed and quantified for CIFAR-100. For example, the positive impact of smaller batch sizes, averaging ensembles, data augmentation and test-time transformations on the accuracy. Other results, such as the positive impact of learned color transformation on the test accuracy could not be confirmed. A model which has only one million learned parameters for an input size of 32x32x3 and 100 classes and which beats the state of the art on the benchmark dataset Asirra, GTSRB, HASYv2 and STL-10 was developed.

研究动机与目标

• 提供对 CNN 分析技术和拓扑学习方法的全面概述。
• 引入并评估用于分类错误的基于混淆矩阵的可视化方法。
• 开发并评估分层分类器（CMO）及其对性能的影响。
• 在 CIFAR-100 及其他基准数据集上验证已知的提升准确性的做法（数据增强、小批量批次、测试时变换）。
• 提出一个参数量＜1M parameters 的紧凑的 CNN 模型，在多个数据集（Asirra、GTSRB、HASYv2、STL-10）上取得优异结果。

提出的方法

• 回顾现有的 CNN 分析与拓扑构建方法。
• 开发一种新颖的基于混淆矩阵的分类错误可视化方法。
• 描述并评估基于混淆矩阵洞察构建的分层分类器。
• 在 CIFAR-100 上通过实验验证诸如更小的批量大小、平均集成、数据增强和测试时变换等技术。
• 研究学习到的颜色空间变换及其他潜在的提升准确率的方法。
• 构建一个约 1 million parameters 的紧凑型 CNN 模型，在多个数据集上具竞争力的基准表现。

实验结果

研究问题

• RQ1 如何将分类错误的可视化用于指导 CNN 架构设计？
• RQ2 分层分类器是否能提高整体准确性和鲁棒性？
• RQ3 哪些训练技术（批量大小、数据增强、测试时变换）在不同数据集上能稳定提升准确性？
• RQ4 是否有可能设计出在多样化基准上达到最先进结果的紧凑型 CNN？

主要发现

• 开发了基于混淆矩阵的可视化方法来分析 CNN 的错误。
• 描述并评估了基于该方法推导的分层分类器。
• 在 CIFAR-100 上，较小的批量大小、平均集成、数据增强和测试时变换对准确性有积极影响。
• 学习到的颜色空间变换在测试准确性上未显示出明确的提升。
• 一个参数量低于 1M 的模型取得了具竞争力的结果，并在 Asirra、GTSRB、HASYv2、STL-10 基准上创下新的最先进水平。