[논문 리뷰] On the Origin of Deep Learning

Haohan Wang, Bhiksha Raj|arXiv (Cornell University)|2017. 02. 24.

Neural Networks and Applications참고 문헌 131인용 수 88

한 줄 요약

이 논문은 심층 학습 모델의 진화 역사를 추적하며 연합주의로부터 CNN, DBN, RNN 같은 현대 아키텍처까지의 기원을 따라가고, 초기 아이디어가 현재의 딥러닝 형태로 어떻게 발전했는지 논의한다.

ABSTRACT

This paper is a review of the evolutionary history of deep learning models. It covers from the genesis of neural networks when associationism modeling of the brain is studied, to the models that dominate the last decade of research in deep learning like convolutional neural networks, deep belief networks, and recurrent neural networks. In addition to a review of these models, this paper primarily focuses on the precedents of the models above, examining how the initial ideas are assembled to construct the early models and how these preliminary models are developed into their current forms. Many of these evolutionary paths last more than half a century and have a diversity of directions. For example, CNN is built on prior knowledge of biological vision system; DBN is evolved from a trade-off of modeling power and computation complexity of graphical models and many nowadays models are neural counterparts of ancient linear models. This paper reviews these evolutionary paths and offers a concise thought flow of how these models are developed, and aims to provide a thorough background for deep learning. More importantly, along with the path, this paper summarizes the gist behind these milestones and proposes many directions to guide the future research of deep learning.

연구 동기 및 목표

• 심층학습의 역사적 기원을 고대 연합주의로부터 현대 신경망까지 추적한다.
• 초기 모델들이 오늘날의 아키텍처(CNNs, DBNs, RNNs)로 어떻게 구성되었는지 분석한다.
• 현재의 딥러닝 연구를 안내하는 긴 분기형 개발 경로와 핵심 이정표를 강조한다.
• 기초 아이디어를 현재의 딥러닝 방법과 연결하는 간결한 프레임워크를 제공하고 미래 방향을 식별한다.

제안 방법

• 신경망 이정표에 대한 포괄적 문헌 및 역사 검토를 수행한다.
• 초기 이론(연합주의)에서 현대 아키텍처까지의 진화 경로를 도식화한다.
• 전구 아이디어가 현재 모델 설계 및 최적화 기법에 어떻게 반영되었는지 종합한다.
• 이 분야의 역사적 발전을 맥락화하기 위해 관련 리뷰와 비교한다.

실험 결과

연구 질문

• RQ1 현대 딥러닝 모델로 이어진 역사적 전조와 이정표는 무엇인가?
• RQ2 초기 아이디어가 CNNs, DBNs, RNNs와 같은 아키텍처로 어떻게 구성되었는가?
• RQ3 고대 개념에서 현재 딥러닝 관행으로 이어지는 직관과 경로는 무엇인가?
• RQ4 역사에 기반한 향후 연구 방향은 무엇인가?

주요 결과

• 본 논문은 연합주의에서 현대 딥러닝 아키텍처에 이르는 긴 역사적 계보를 추적한다.
• CNNs, DBNs, RNNs가 어떻게 초기 개념에서 발전해 현대 모델로 조합되었는지 보여준다.
• 딥 아키텍처가 표현력과 효율성 문제를 해결하기 위해 나타났다고 주장한다.
• 최적화 및 학습 개발(backpropagation, dropout 등)을 진화 이야기의 일환으로 다룬다.
• 초기 이정표와 그 기저 아이디어를 이해함으로써 향후 연구 방향을 제시한다.