[논문 리뷰] Deep Convolutional Neural Network Design Patterns

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|2016. 11. 02.

Advanced Neural Network Applications참고 문헌 42인용 수 47

한 줄 요약

이 논문은 최근의 아키텍처를 분석하여 유도한 14개의 딥 컨volution 신경망(CNN) 설계 패턴을 소개하며, 초보자와 숙련자 모두가 효과적인 모델을 구축하는 데 도움을 주기 위한 목적으로 제시된다. Fractal of FractalNets(FoF), Stagewise Boosting Networks(SBN), Taylor Series Networks(TSN)와 같은 새로운 아키텍처를 제안하며, 실험 결과 FoF는 CIFAR-10과 CIFAR-100에서 기준 FractalNet과 유사하거나 더 높은 정확도를 달성하면서도 더 빠른 학습 속도를 보였다.

ABSTRACT

Recent research in the deep learning field has produced a plethora of new architectures. At the same time, a growing number of groups are applying deep learning to new applications. Some of these groups are likely to be composed of inexperienced deep learning practitioners who are baffled by the dizzying array of architecture choices and therefore opt to use an older architecture (i.e., Alexnet). Here we attempt to bridge this gap by mining the collective knowledge contained in recent deep learning research to discover underlying principles for designing neural network architectures. In addition, we describe several architectural innovations, including Fractal of FractalNet network, Stagewise Boosting Networks, and Taylor Series Networks (our Caffe code and prototxt files is available at https://github.com/iPhysicist/CNNDesignPatterns). We hope others are inspired to build on our preliminary work.

연구 동기 및 목표

• 최근 연구에서 유도된 딥 CNN 아키텍처 설계의 보편 원칙을 규명하기 위해.
• AlexNet과 같은 오래된 아키텍처를 무작정 사용하는 초보자들이 지침이 부족한 문제를 해결하기 위해.
• 학습 효율성과 성능을 향상시키는 새로운 원칙 기반의 아키텍처 패턴을 제안하기 위해.
• 발견된 설계 패턴을 기반으로 Fractal of FractalNets, Stagewise Boosting Networks, Taylor Series Networks와 같은 새로운 아키텍처를 소개하기 위해.
• 이미지 분류를 초월한 아키텍처 설계 분야의 향후 연구를 위한 기반을 마련하기 위해.

제안 방법

• 최근 딥 러닝 문헌에서 아키텍처 혁신을 채굴하여 반복적으로 효과적인 설계 원칙을 추출하기 위해.
• 깊이 대 학습 안정성 등의 반복적 갈등을 해결하는 데 사용되는 14개의 설계 패턴을 정의하기 위해.
• 표현 능력을 향상시키기 위해 프랙탈 구조를 반복적으로 적용하는 Fractal of FractalNet(FoF) 아키텍처를 도입하기 위해.
• 프리즈-드롭패스 유닛을 사용하여 학습을 안정화시키는 Stagewise Boosting Networks(SBN)과 Taylor Series Networks(TSN)를 제안하기 위해.
• 표준 벤치마크인 CIFAR-10과 CIFAR-100을 사용하여 새로운 아키텍처를 구현하고 평가하기 위해.
• 최종 정확도 향상을 위해 협동적 정보 흐름을 탐색하기 위해 마aks 풀링 대신 평균 풀링을 사용하기 위해.

실험 결과

연구 질문

• RQ1 성공적인 딥 CNN 아키텍처의 배경에 있는 보편적 설계 원칙은 무엇인가요?
• RQ2 growing한 딥 러닝 연구 문헌에서 설계 패턴을 체계적으로 추출할 수 있는 방법은 무엇인가요?
• RQ3 스킵 커넥션, 풀링 유형, 정규화와 같은 아키텍처 구성 요소 중에서 학습 속도와 정확도에 가장 큰 영향을 미치는 것은 무엇인가요?
• RQ4 FoF, SBN, TSN와 같은 새로운 아키텍처가 FractalNet과 같은 기존 모델보다 정확도와 수렴 속도에서 뛰어나게 성능을 발휘할 수 있는가요?
• RQ5 연결(concatenation) 대 프랙탈 조인(fractal-joins), 마aks 풀링 대 평균 풀링 등의 아키텍처 선택이 모델 성능에 어떻게 영향을 미치나요?

주요 결과

• Fractal of FractalNet(FoF) 아키텍처는 CIFAR-10에서 테스트 정확도 92.6%와 CIFAR-100에서 73.1%를 달성하여 원본 FractalNet과 동일한 성능을 보였으며, 학습 속도가 더 빠르게 나타났다.
• FractalNet에서 마aks 풀링을 평균 풀링으로 교체함으로써 최종 테스트 정확도가 CIFAR-10에서 94.3%로 향상되었고, CIFAR-100에서는 73.4%로 상승하여 협동적 풀링이 더 효과적일 수 있음을 시사했다.
• 다운샘플링 레이어에서 프랙탈 조인 대신 연결을 사용할 경우 동일한 성능을 달성하여 아키텍처의 유연성은 유지되면서 정확도 손실 없이도 가능함을 보여주었다.
• 프리즈-드롭패스를 사용한 TSN과 SBN 모델은 FractalNet보다 더 빠르게 학습되었지만, 성능이 열 劣하므로 이 구성 요소에 대한 추가 튜닝이 필요함을 시사했다.
• 멀티스케일 커널을 사용한 Maxout은 평균/합산 기반의 프랙탈 조인보다 성능이 열 劣하여, 협동적 집계가 경쟁적 집계보다 더 효과적일 수 있음을 시사했다.
• 본 연구는 설계 패턴을 체계적으로 추출하고 이를 활용하여 새로운 고성능 아키텍처를 설계할 수 있음을 입증했다.