[논문 리뷰] Analysis and Optimization of Convolutional Neural Network Architectures

Martin Thoma|arXiv (Cornell University)|2017. 07. 31.

Advanced Neural Network Applications참고 문헌 56인용 수 57

한 줄 요약

본 석사 학위 논문은 CNN 분석 및 토폴로지 구성의 분석을 다루고, 혼동 행렬 기반 시각화를 도입하며, 계층적 분류기를 평가하고, 데이터 증강 및 소형 배치 크기와 같은 정확도 향상 기법에 대해 보고하며, 여러 데이터셋에 걸쳐 최첨단 모델에 이르는 compact 모델을 제시한다.

ABSTRACT

Convolutional Neural Networks (CNNs) dominate various computer vision tasks since Alex Krizhevsky showed that they can be trained effectively and reduced the top-5 error from 26.2 % to 15.3 % on the ImageNet large scale visual recognition challenge. Many aspects of CNNs are examined in various publications, but literature about the analysis and construction of neural network architectures is rare. This work is one step to close this gap. A comprehensive overview over existing techniques for CNN analysis and topology construction is provided. A novel way to visualize classification errors with confusion matrices was developed. Based on this method, hierarchical classifiers are described and evaluated. Additionally, some results are confirmed and quantified for CIFAR-100. For example, the positive impact of smaller batch sizes, averaging ensembles, data augmentation and test-time transformations on the accuracy. Other results, such as the positive impact of learned color transformation on the test accuracy could not be confirmed. A model which has only one million learned parameters for an input size of 32x32x3 and 100 classes and which beats the state of the art on the benchmark dataset Asirra, GTSRB, HASYv2 and STL-10 was developed.

연구 동기 및 목표

• CNN 분석 기법 및 토폴로지 학습 방법에 대한 포괄적 개요를 제공한다.
• 분류 오류에 대한 혼동 행렬 기반 시각화를 도입하고 평가한다.
• CMO를 포함한 혼동 행렬 인사이트 기반의 계층적 분류기를 개발하고 성능에 미치는 영향을 평가한다.
• CIFAR-100 및 기타 벤치마크에서 정확도 향상을 검증하는 알려진 방법(데이터 증강, 작은 배치 크기, 테스트 시 변환)을 확인한다.
• 여러 데이터셋에서 강력한 결과를 달성하는 compact CNN 모델(<1M parameters)을 제시한다(Asirra, GTSRB, HASYv2, STL-10).

제안 방법

• 기존 CNN 분석 및 토폴로지 구성 방법을 검토한다.
• 분류 오류를 위한 혼동 행렬 기반 시각화를 새롭게 개발한다.
• 혼동 행렬 인사이트로부터 구축된 계층적 분류기를 설명하고 평가한다.
• CIFAR-100에서 작은 배치 크기, 평균 앙상블, 데이터 증강, 테스트 시 변환과 같은 기술들을 실험적으로 검증한다.
• 학습된 색 공간 변환 및 다른 잠재적 정확도 향상 기법을 조사한다.
• 여러 데이터셋에서 경쟁력 있게 벤치마크를 달성하는 약 1M 매개변수를 갖는 compact CNN 모델을 구축한다.

실험 결과

연구 질문

• RQ1 분류 오류의 시각화가 CNN 아키텍처 설계에 어떤 정보를 제공할 수 있는가?
• RQ2 계층적 분류기가 전반적인 정확도와 견고성을 향상시키는가?
• RQ3 어떤 학습 기법들(batch size, 데이터 증강, 테스트 시 변환)이 데이터셋 전반에서 정확도를 안정적으로 향상시키는가?
• RQ4 다양한 벤치마크에서 최첨단 결과를 달성하는 compact CNN을 설계하는 것이 가능한가?

주요 결과

• 혼동 행렬 기반 시각화가 CNN 오류를 분석하기 위해 개발되었다.
• 방법에서 파생된 계층적 분류기가 기술되었고 평가되었다.
• Smaller batch sizes, averaging ensembles, data augmentation, and test-time transformations positively impacted accuracy on CIFAR-100.
• Learned color space transformation did not show confirmed gains in test accuracy.
• A model with under 1 million parameters achieved competitive results and set new state-of-the-art on Asirra, GTSRB, HASYv2, and STL-10 benchmarks.