[논문 리뷰] A Non-Technical Survey on Deep Convolutional Neural Network Architectures

Felix Altenberger, Claus Lenz|arXiv (Cornell University)|2018. 03. 06.

Advanced Neural Network Applications참고 문헌 25인용 수 32

한 줄 요약

이 비기술적 서베이는 객체 인식 작업(예: 이미지 분류, 객체 위치 지정, 검출)에서의 성능 향상에 초점을 맞춘 깊이 합성곱 신경망(DCNN) 아키텍처의 연대기적 개요를 제공한다. 최신 기술 수준의 성능을 가능하게 한 핵심 아키텍처 혁신—예를 들어 잔차 연결, 인셉션 모듈, 깊이 분리형 합성곱—을 설명하며, 2016년까지 분류 오차가 3% 미만으로 떨어져 인간 수준의 정확도를 초월했다.

ABSTRACT

Artificial neural networks have recently shown great results in many disciplines and a variety of applications, including natural language understanding, speech processing, games and image data generation. One particular application in which the strong performance of artificial neural networks was demonstrated is the recognition of objects in images, where deep convolutional neural networks are commonly applied. In this survey, we give a comprehensive introduction to this topic (object recognition with deep convolutional neural networks), with a strong focus on the evolution of network architectures. Therefore, we aim to compress the most important concepts in this field in a simple and non-technical manner to allow for future researchers to have a quick general understanding. This work is structured as follows: 1. We will explain the basic ideas of (convolutional) neural networks and deep learning and examine their usage for three object recognition tasks: image classification, object localization and object detection. 2. We give a review on the evolution of deep convolutional neural networks by providing an extensive overview of the most important network architectures presented in chronological order of their appearances.

연구 동기 및 목표

• 분야 신입 연구자들을 대상으로 깊이 합성곱 신경망(DCNN) 아키텍처에 대한 비기술적이고 접근 가능한 개요를 제공하기 위해.
• 핵심 DCNN 아키텍처의 연대기적 발전과 객체 인식 작업에 미친 영향을 추적하기 위해.
• 잔차 연결, 깊이 분리형 합성곱 등 핵심 아키텍처 혁신이 더 깊이 있고 정확하며 효율적인 네트워크를 가능하게 한 이유를 설명하기 위해.
• ILSVRC와 같은 벤치마크 도전 과제에서의 성능 향상을 보여주기 위해, 분류, 위치 지정, 검출 등 다양한 과제에 대한 아키텍처 선택의 영향을 설명하기 위해.
• 미래의 연구자들이 DCNN 분야에서 깊이 있는 학습을 위한 기초 개념과 핵심 자료를 안내하기 위해.

제안 방법

• 논문은 LeNet부터 시작하여 AlexNet, VGG, GoogLeNet, ResNet, DenseNet, MobileNet에 이르기까지 주요 DCNN 아키텍처의 연대기적 서베이를 제시한다.
• 객체 인식을 위한 계층적 특징 추출에서 합성곱 층, 풀링 연산, 완전 연결 층의 역할을 설명한다.
• 핵심 아키텍처 혁신을 분석하며, 잔차 연결(ResNet), 인셉션 모듈(GoogLeNet), 밀도 연결(DenseNet), 깊이 분리형 합성곱(MobileNet)을 포함한다.
• 각 아키텍처가 성능과 효율성을 어떻게 향상시키는지 시각적 다이어그램과 간단한 설명을 통해 설명한다.
• 커널 크기(3×3), 스트라이드, 패딩, 해상도 배수 등 하이퍼파라미터를 모델 정확도와 추론 속도와 연관지어 논의한다.
• ILSVRC 벤치마크에서의 성능을 평가하며, 분류 오차, 위치 지정 오차, 평균 정확도(MAP)를 지표로 사용한다.

실험 결과

연구 질문

• RQ1 DCNN 아키텍처는 객체 인식 과제에서 성능을 향상시키기 위해 시간이 지남에 따라 어떻게 진화해 왔는가?
• RQ2 더 깊은 네트워크를 효과적으로 훈련시키고 최신 기술 수준의 성능을 달성하는 데 기여한 아키텍처 혁신은 무엇인가?
• RQ3 잔차 연결과 인셉션 모듈은 기울기 소실 문제를 어떻게 줄이고 특징 학습을 향상시키는가?
• RQ4 현대 DCNN에서 정확도, 파라미터 수, 추론 속도 사이의 트레이드오프는 어떻게 발생하는가?
• RQ5 깊이 분리형 합성곱은 MobileNet과 같은 효율적인 모델을 어떻게 가능하게 하여 모바일 및 엣지 환경에 배포할 수 있게 하는가?

주요 결과

• ILSVRC 벤치마크에서의 분류 오차는 2011년 비-DCNN 기반에서 26%에서 2016년까지 3%로 감소하여 인간 오차율 약 5%를 초월했다.
• 2015년에 도입된 잔차 네트워크(ResNet)는 특히 강력한 영향을 미쳤으며, 100층이 넘는 매우 깊은 네트워크를 안정적인 기울기로 훈련시킬 수 있게 했다.
• 인셉션 기반 아키텍처(예: GoogLeNet)는 다양한 필터 크기를 가진 병렬 합성곱 경로를 사용함으로써 파라미터 수를 줄이고도 높은 정확도를 달성했다.
• MobileNet-v1은 깊이 분리형 합성곱을 통해 표준 합성곱 대비 계산 비용을 최대 8배까지 줄여 높은 효율성을 달성했다.
• 스킵 연결을 갖춘 아키텍처(예: ResNet, DenseNet)는 기울기 흐름을 크게 향상시켜 성능 저하 없이 더 깊은 네트워크를 가능하게 했다.
• 패딩이 1이고 스트라이드가 1 또는 2인 3×3 커널의 사용은 특징 추출과 계산 비용의 균형을 맞추는 표준 관행이 되었다.