[논문 리뷰] Towards Principled Design of Deep Convolutional Networks: Introducing SimpNet

Seyyed Hossein Hasanpour, Mohammad Rouhani외 3명|arXiv (Cornell University)|2018. 02. 17.

Advanced Neural Network Applications참고 문헌 2인용 수 21

한 줄 요약

이 논문은 효율성과 성능을 중시하는 체계적인 아키텍처 원칙을 통해 설계된 경량 딥 컨volution 네트워크인 SimpNet을 소개한다. 새로운 SAF-풀링과 최소화된, 잘 정당화된 설계 선택을 통해 SimpNet은 ResNet과 DenseNet과 같은 더 깊은 모델보다 2배에서 25배 적은 파라미터와 FLOPs를 사용하면서도 CIFAR-10, CIFAR-100, MNIST 및 SVHN에서 최신 기준 성능을 달성한다.

ABSTRACT

Major winning Convolutional Neural Networks (CNNs), such as VGGNet, ResNet, DenseNet, \etc, include tens to hundreds of millions of parameters, which impose considerable computation and memory overheads. This limits their practical usage in training and optimizing for real-world applications. On the contrary, light-weight architectures, such as SqueezeNet, are being proposed to address this issue. However, they mainly suffer from low accuracy, as they have compromised between the processing power and efficiency. These inefficiencies mostly stem from following an ad-hoc designing procedure. In this work, we discuss and propose several crucial design principles for an efficient architecture design and elaborate intuitions concerning different aspects of the design procedure. Furthermore, we introduce a new layer called {\it SAF-pooling} to improve the generalization power of the network while keeping it simple by choosing best features. Based on such principles, we propose a simple architecture called {\it SimpNet}. We empirically show that SimpNet provides a good trade-off between the computation/memory efficiency and the accuracy solely based on these primitive but crucial principles. SimpNet outperforms the deeper and more complex architectures such as VGGNet, ResNet, WideResidualNet \etc, on several well-known benchmarks, while having 2 to 25 times fewer number of parameters and operations. We obtain state-of-the-art results (in terms of a balance between the accuracy and the number of involved parameters) on standard datasets, such as CIFAR10, CIFAR100, MNIST and SVHN. The implementations are available at \href{url}{https://github.com/Coderx7/SimpNet}.

연구 동기 및 목표

• 높은 정확도를 보이지만 고성능을 요구하는 복잡한 CNN 모델들(예: VGGNet, ResNet)의 비효율성 문제를 해결하기 위해.
• SqueezeNet과 같은 경량 네트워크에서의 설계의 비합리성으로 인해 정확도를 희생하는 문제를 해결하기 위해.
• 효율적인 CNN를 위한 체계적인 설계 프레임워크를 수립하여 세밀한 튜닝과 자동 아키텍처 탐색을 가능하게 하기 위해.
• 실제 환경의 변형(예: 가림, 시점 변화)을 시뮬레이션함으로써 일반화 능력을 향상시키는 새로운 풀링 메커니즘인 SAF-풀링을 도입하기 위해.
• 명확한 설계 원칙에 따라 설계된 단순하고 浅층적인 아키텍처가 더 깊고 무거운 모델을 뛰어넘을 수 있음을 보여주기 위해.

제안 방법

• 효율성, 깊이, 커널 크기, 풀링 연산에 중점을 두어 체계적인 네트워크 설계를 이끄는 아키텍처 설계 원칙 세트를 제안한다.
• SAF-풀링(선택적 활성화 필터링)을 도입하며, 먼저 채널별로 가장 높은 활성화를 풀링하고, 이후 무작위로 일부를 제거하여 실제 데이터의 변형을 시뮬레이션한다.
• 잔차 연결과 복잡한 스킵 연결을 피하고, 오직 3~5개의 컨볼루션 블록으로 구성된 최소화된 깊은 네트워크인 SimpNet을 설계한다.
• 표준 ReLU 비선형성과 배치 정규화를 사용하지만, 밀집 블록이나 하이웨이 연결과 같은 아키텍처 복잡성을 피한다.
• 데이터 증강 없이도 표준 벤치마크(CIFAR-10/100, MNIST, SVHN)에서 훈련 및 평가하여 아키텍처 성능를 고립적으로 분석한다.
• 각 설계 원칙과 SAF-풀링의 필요성을 검증하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 최소화된 체계적인 CNN 설계가 더 깊고 복잡한 아키텍처보다 파라미터 수가 현저히 적은데도 정확도에서 뛰어날 수 있는가?
• RQ2 SAF-풀링은 모델 복잡도를 증가시키지 않으면서 일반화 능력을 어떻게 향상시키는가?
• RQ3 효율적이면서도 정확한 네트워크 설계를 가능하게 하는 핵심 아키텍처 원칙은 무엇인가?
• RQ4 네트워크의 슬림화된 버전이 더 무거운 모델보다 파라미터 수가 적은데도 성능 우위를 유지하는가?
• RQ5 데이터 증강이나 앙상블 기법 없이도 단순한 아키텍처가 최신 기준 성능을 달성할 수 있는가?

주요 결과

• SimpNet는 단지 548만 개의 파라미터로 CIFAR-100에서 95.56%의 top-1 정확도를 달성하여, 파라미터 수가 170만 개인 ResNet-110(1.7M)과 1100만 개인 Wide ResNet(11M)보다 뛰어난 성능을 보였다.
• CIFAR-10에서는 890만 개의 파라미터로 95.89%의 정확도를 기록하여, ResNet-110(93.57%)과 Wide ResNet(95.83%)를 모두 뛰어넘었으며, 파라미터 수가 더 적다.
• 단지 30만 개의 파라미터만을 사용하는 슬림 버전의 SimpNet은 MNIST에서 99.73%의 정확도를 기록하여, 데이터 증강 없이도 두 번째로 높은 순위를 기록했다.
• SVHN에서는 1.648%의 오차율을 기록하여, ResNet(2.01%)과 DenseNet(1.79-1.59%)보다 더 적은 파라미터로 뛰어난 성능을 보였다.
• 아블레이션 스터디 결과, SAF-풀링을 포함한 각 설계 원칙이 필수적임을 확인하였으며, 어떤 요소라도 제거하면 성능 저하가 발생했다.
• 30만~60만 개의 파라미터만으로도 SimpNet은 CIFAR-10과 CIFAR-100에서 ResNet(475K)과 Wide ResNet(600K)보다 뛰어난 성능을 보였으며, 파라미터 스케일링에 대해 뛰어난 강건성을 입증했다.