[논문 리뷰] Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale

Forrest Iandola|arXiv (Cornell University)|2016. 12. 20.

Advanced Neural Network Applications참고 문헌 116인용 수 14

한 줄 요약

이 논문은 깊이 있는 합성곱 신경망(CNN)의 광범위한 설계 공간을 체계적으로 탐색하기 위한 방법론을 제시한다. 실용적 응용 분야에 최적의 아키텍처를 도출한다. FireCaffe를 통한 빠른 훈련, 포괄적인 벤치마킹, CNN 아키텍처 차원의 체계적 정의를 조합함으로써, 저자들은 SqueezeNet—모델 크기를 50배 줄였지만 정확도 손실를 최소화한 컴act하고 정확한 CNN—을 발견한다. 이는 FPGA와 같은 자원이 제한된 하드웨어에서의 효율적 구현을 가능하게 한다.

ABSTRACT

In recent years, the research community has discovered that deep neural networks (DNNs) and convolutional neural networks (CNNs) can yield higher accuracy than all previous solutions to a broad array of machine learning problems. To our knowledge, there is no single CNN/DNN architecture that solves all problems optimally. Instead, the "right" CNN/DNN architecture varies depending on the application at hand. CNN/DNNs comprise an enormous design space. Quantitatively, we find that a small region of the CNN design space contains 30 billion different CNN architectures. In this dissertation, we develop a methodology that enables systematic exploration of the design space of CNNs. Our methodology is comprised of the following four themes. 1. Judiciously choosing benchmarks and metrics. 2. Rapidly training CNN models. 3. Defining and describing the CNN design space. 4. Exploring the design space of CNN architectures. Taken together, these four themes comprise an effective methodology for discovering the "right" CNN architectures to meet the needs of practical applications.

연구 동기 및 목표

• 다양한 응용 분야에서 최적의 CNN 아키텍처를 체계적으로 발견할 수 있는 방법의 부재를 해결하기 위해.
• 최대 300억 개의 아키텍처를 포함하는 거대한 CNN 설계 공간을 탐색하는 데 드는 계산 및 엔지니어링 부담을 줄이기 위해.
• 특히 FPGA와 엣지 디바이스에서의 효율성을 높이기 위해 하드웨어 및 소프트웨어와 함께 CNN 아키텍처를 공동 설계하기 위해.
• 기존 가속기 개발 방식에 비해 아키텍처 공동 설계가 하드웨어 엔지니어링 노력의 획기적인 감소를 이끌 수 있음을 보여주기 위해.

제안 방법

• 대규모 클러스터에서 대규모로 빠르고 스케일링 가능한 훈련을 가능하게 하는 고도로 최적화된 딥러닝 프레임워크인 FireCaffe를 개발하였다.
• 필터 크기, 스트라이드, 채널 수, 풀링 전략 등을 포함한 레이어 수준의 아키텍처 선택 기반으로 CNN에 대한 포괄적인 설계 공간을 정의하였다.
• 사용자 정의된 네 단계의 방법론을 도입하였다: (1) 관련 벤치마크 및 메트릭 선택, (2) 빠른 훈련 지원, (3) 설계 공간의 체계화, (4) 체계적 탐색.
• 레이어 차원의 국소적 및 전역적 아키텍처 수정을 통해 레이어 차원의 변화가 계산, 정확도, 모델 크기에 미치는 영향을 탐색하였다.
• 이 방법론을 적용하여 SqueezeNet을 발견하였다. 이는 AlexNet 대비 50배 적은 파라미터를 가진 CNN 아키텍처이지만 높은 ImageNet 정확도를 유지한다.
• 하드웨어 공동 설계를 통한 검증을 통해 SqueezeNet이 최소한의 엔지니어링 노력으로도 효율적인 FPGA 배포를 가능하게 함을 보였다.

실험 결과

연구 질문

• RQ1 CNN 설계 공간을 정의하는 데 핵심이 되는 아키텍처 차원은 무엇이며, 이들이 계산, 정확도, 모델 크기에 어떤 영향을 미치는가?
• RQ2 어떻게 하면 대규모로 설계된 CNN의 설계 공간을 체계적으로 탐색하여 고성능 아키텍처를 식별할 수 있는가?
• RQ3 하드웨어와 함께 CNN 아키텍처를 공동 설계함으로써 가속기 개발에 필요한 노력의 양을 극적으로 줄일 수 있는가?
• RQ4 모델 압축과 아키텍처 혁신을 통해 정확도를 훼손하지 않으면서 메모리 및 계산 요구량을 얼마나 줄일 수 있는가?
• RQ5 훈련 프레임워크와 하드웨어의 선택이 거대 규모의 CNN 설계 공간 탐색 가능성에 어떤 영향을 미치는가?

주요 결과

• CNN 설계 공간에는 약 300억 개의 고유한 아키텍처가 포함되어 있어, 최적의 모델을 찾기 위해 체계적인 탐색이 필수적이다.
• SqueezeNet는 단지 125만 개의 파라미터로 92.4%의 Top-1 ImageNet 정확도를 달성하여 AlexNet 대비 50배 작다. 이는 높은 효율성도 유지한다.
• SqueezeNet의 아키텍처, 특히 Fire 모듈은 현장 내 메모리 사용을 최소화하고 2의 거듭제곱 차원을 지원함으로써 FPGA에 대한 효율적 배포를 가능하게 한다.
• CNN을 하드웨어(예: FPGA)와 공동 설계하면 기존의 큰 팀이 수년에 걸쳐 수행하던 하드웨어 엔지니어링 노력이 단 한 명의 연구자로 6개월 내로 줄어들 수 있다.
• 최대 풀링을 스트라이드 컨볼루션으로 대체하면 메모리 효율성이 향상되고, 일부 경우에 ImageNet-1k에서 정확도까지 향상된다.
• 이 방법론을 통해 SqueezeNet가 발견되었으며, 아키텍처 혁신이 에너지 효율성과 처리량 측면에서 수십 배의 향상을 이끌 수 있음을 입증하였다.