[논문 리뷰] Striving for Simplicity: The All Convolutional Net

Jost Tobias Springenberg, Alexey Dosovitskiy외 2명|arXiv (Cornell University)|2014. 12. 21.

Advanced Neural Network Applications참고 문헌 24인용 수 2,592

한 줄 요약

요약: 이 논문은 풀링을 stride를 가진 합성곱으로 대체하면 성능이 유지되거나 향상되고, 모든 합성곱 네트워크(풀링 없음)가 CIFAR-10/100에서 최첨단 결과를 달성하고 ImageNet에서도 경쟁력 있는 결과를 얻을 수 있으며, Deconvolution 기반 시각화 방법이 새롭게 제시된다.

ABSTRACT

Most modern convolutional neural networks (CNNs) used for object recognition are built using the same principles: Alternating convolution and max-pooling layers followed by a small number of fully connected layers. We re-evaluate the state of the art for object recognition from small images with convolutional networks, questioning the necessity of different components in the pipeline. We find that max-pooling can simply be replaced by a convolutional layer with increased stride without loss in accuracy on several image recognition benchmarks. Following this finding -- and building on other recent work for finding simple network structures -- we propose a new architecture that consists solely of convolutional layers and yields competitive or state of the art performance on several object recognition datasets (CIFAR-10, CIFAR-100, ImageNet). To analyze the network we introduce a new variant of the "deconvolution approach" for visualizing features learned by CNNs, which can be applied to a broader range of network structures than existing approaches.

연구 동기 및 목표

• 객체 인식에서 작은 이미지에 대한 CNN의 최대 풀링 및 다른 아키텍처 구성 요소의 필요성에 의문을 제기한다.
• 스트라이드 다운샘플링이 적용된 합성곱 계층으로만 구성된 아키텍처를 제안한다.
• CIFAR-10, CIFAR-100 및 ImageNet 규모 데이터에서 All-Convolutional 네트워크를 평가한다.
• 풀링이 없는 네트워크에 적합한 Deconvolution 기반 시각화 방법을 도입한다.

제안 방법

• 다운샘플링을 달성하기 위해 풀링 층을 스트라이드가 2인 합성곱 층으로 대체한다.
• 주로 3x3인 작은 커널 크기를 사용하여 깊고 모든 합성곱 네트워크를 구축한다.
• 완전 연결 층을 1x1 합성곱으로 대체하고 전역 평균화와 소프트맥스로 예측을 수행한다.
• 풀링의 효과를 분리하기 위해 기본 모델에서 파생된 세 가지 변형을 비교한다: Strided-CNN (스트라이드 증가), ConvPool-CNN (풀링을 합성곱으로 대체), All-CNN (풀링 없음).
• CIFAR-10/100 실험을 위해 모멘텀을 갖춘 SGD, 드롭아웃, 가중치 감쇠를 적용하고 데이터 보강(수평 뒤집기, 평행 이동)을 수행한다.
• Deconvolution 기반 시각화: 풀링 스위치에 의존하지 않고 고차원 계층의 특징을 시각화하기 위해 guided backpropagation을 제안한다.

실험 결과

연구 질문

• RQ1 소형 데이터셋에서 최대 풀링이 경쟁력 있는 CNN 성능에 필요한가?
• RQ2 스트라이드 다운샘플링이 있는 합성곱 계층으로만 구성된 아키텍처가 CIFAR-10/100에서 최첨단 결과에 도달하거나 그에 상응할 수 있는가?
• RQ3 풀링 제거가 특징 표현 및 시각화에 어떤 영향을 미치는가?
• RQ4 All-convolutional 네트워크가 ImageNet 규모의 데이터에 확장이 가능한가?
• RQ5 Deconvolution 기반 시각화 방식이 풀링 없이도 네트워크에 효과적으로 적용될 수 있는가?

주요 결과

모델	데이터셋	오차(%)	매개변수 수 (M)	메모
All-CNN-C	CIFAR-10 (확대 없음)	9.08	1.4	All-CNN variant with 3x3 convs and stride-2 subsampling
ConvPool-CNN-C	CIFAR-10 (확대 없음)	9.31	1.4	base-C 변형에서 풀링을 stride 2의 합성곱으로 대체
Strided-CNN-C	CIFAR-10 (확대 없음)	10.19	1.3	풀링은 stride-증가 합성곱으로 유지; 풀링 층 없음
All-CNN-B	CIFAR-10 (확대 없음)	9.10	1.35	풀링 제거 및 모든 합성곱으로 구성된 기본 B 변형
All-CNN-A	CIFAR-10 (확대 없음)	10.30	1.28	stride-2 서브샘플링이 있는 모든 합성곱으로 구성된 기본 A 변형
All-CNN-C	CIFAR-100 (확대 없음)	33.71	–	All-CNN-C on CIFAR-100; competitive with state of the art

• All-CNN 아키텍처는 CIFAR-10/100에서 최대 풀링 없이 최첨단 또는 경쟁력 있는 성능을 달성한다.
• 풀링을 스트라이드 합성곱으로 대체하면 변형들 간의 정확도가 유지되거나 향상되며 많은 경우 ConvPool-CNN의 성능과 일치한다.
• 작은 3x3 합성곱을 쌓고 가끔 stride-2 다운샘플링을 적용하면 CIFAR-10/100에서 이전 아키텍처를 능가하며 때로는 더 적은 매개변수로도 가능하다.
• ImageNet 규모 데이터에서 확장된 All-CNN-B는 AlexNet 수준의 모델에 비해 훨씬 적은 매개변수로도 경쟁력 있는 결과를 제공하여 대형 네트워크에서도 풀링이 불필요할 수 있음을 시사한다.
• 제안된 guided backpropagation 시각화는 풀링이 없는 네트워크의 상위 계층 특징 시각화를 deconvnet 방식보다 더 명확하게 보여준다.