[논문 리뷰] What Do We Understand About Convolutional Networks?

Isma Hadji, Richard P. Wildes|arXiv (Cornell University)|2018. 03. 23.

Cell Image Analysis Techniques참고 문헌 131인용 수 101

한 줄 요약

합성곱 신경망의 구조, 구성 요소, 학습 방법 및 전이 학습에 대한 고찰과 생물학에서 영감을 받은 설계 및 남은 도전과제에 대한 논의.

ABSTRACT

This document will review the most prominent proposals using multilayer convolutional architectures. Importantly, the various components of a typical convolutional network will be discussed through a review of different approaches that base their design decisions on biological findings and/or sound theoretical bases. In addition, the different attempts at understanding ConvNets via visualizations and empirical studies will be reviewed. The ultimate goal is to shed light on the role of each layer of processing involved in a ConvNet architecture, distill what we currently understand about ConvNets and highlight critical open problems.

연구 동기 및 목표

• ConvNets를 벤치마크 성능 이상으로 이해할 필요성을 고무한다.
• 주요 다층 아키텍처와 그 설계 결정들을 검토한다.
• 생물학적 및 이론적 관점에서 ConvNets의 구성 요소를 고찰한다.
• ConvNets를 이해하기 위해 사용된 시각화 및 경험적 연구를 요약한다.
• ConvNet 이해의 현재 경향과 중요한 남아 있는 문제를 강조한다.

제안 방법

• 다층 네트워크 아키텍처의 역사적 발전에 대한 검토.
• 신경망 구성 요소(RBMs, auto-encoders, RNNs, ConvNets, GANs)의 논의.
• 경사하강법, 역전파, 비지도 사전학습을 포함한 학습 방법의 설명.
• 전이 학습과 그것의 실용적 지침에 대한 분석.
• 2D ConvNets(AlexNet에서 DenseNet까지)의 아키텍처 진화와 핵심 혁신의 종합.

실험 결과

연구 질문

• RQ1 학습된 합성곱 커널 및 아키텍처 선택의 어떤 측면이 실제로 ConvNet 성능에 기여하는가?
• RQ2 깊이, 풀링, 비선형성 등의 특정 설계 결정이 왜 더 나은 결과를 가져오는가?
• RQ3 다양한 학습 및 사전학습 전략이 데이터 효율성 및 일반화에 어떤 영향을 미치는가?
• RQ4 데이터셋과 작업 간 전이 학습의 역할과 영향은 무엇인가?
• RQ5 ConvNet 이해의 현재 문제점과 한계는 무엇인가?

주요 결과

• ConvNets는 국소 연결과 가중치 공유를 풀링과 결합하여 계층적 표현과 불변성을 구축한다.
• 더 깊은 네트워크(VGG, GoogLeNet, ResNet, DenseNet)는 더 나은 성능을 달성하며, 더 작은 필터, 인셉션 모듈, 스킵 연결과 같은 혁신에 의해 가능해졌다.
• ReLU 활성화, 드롭아웃, 데이터 증강은 학습 효율성과 일반화에 크게 도움을 준다.
• 전이 학습은 계층적 표현으로 인해 효과적이며, 상위 계층의 미세조정이 종종 최상의 결과를 낳고, 작업 간의 유사성이 전이에 영향을 준다.
• GAN은 비지도 학습 능력을 제공하며 이미지 합성 및 관련 작업의 진전을 촉진했다.
• 학습 전략은 비지도 사전학습(RBMs 등)에서 감독 역전파로 발전했고, 하이브리드 및 자기지도 학습 방식에 대한 지속적인 관심이 있다.