[논문 리뷰] A Selective Overview of Deep Learning

Jianqing Fan, Cong Ma외 1명|arXiv (Cornell University)|2019. 04. 10.

Neural Networks and Applications참고 문헌 125인용 수 42

한 줄 요약

이 논문은 통계적 관점에서 심층 학습을 검토하며, 피드포워드, CNN, RNN, 학습 체계 및 표현력과 일반화에 대한 이론을 자세히 다루고, 깊이와 과다 매개화에 중점을 둡니다.

ABSTRACT

Deep learning has arguably achieved tremendous success in recent years. In simple words, deep learning uses the composition of many nonlinear functions to model the complex dependency between input features and labels. While neural networks have a long history, recent advances have greatly improved their performance in computer vision, natural language processing, etc. From the statistical and scientific perspective, it is natural to ask: What is deep learning? What are the new characteristics of deep learning, compared with classical methods? What are the theoretical foundations of deep learning? To answer these questions, we introduce common neural network models (e.g., convolutional neural nets, recurrent neural nets, generative adversarial nets) and training techniques (e.g., stochastic gradient descent, dropout, batch normalization) from a statistical point of view. Along the way, we highlight new characteristics of deep learning (including depth and over-parametrization) and explain their practical and theoretical benefits. We also sample recent results on theories of deep learning, many of which are only suggestive. While a complete understanding of deep learning remains elusive, we hope that our perspectives and discussions serve as a stimulus for new statistical research.

연구 동기 및 목표

• 딥 러닝이 고전적 방법과 어떻게 다른지, 그리고 그것이 가져오는 새로운 특성(깊이, 과다 매개화, 암시적 선지)을 동기 부여합니다.
• 통계적 관점에서 일반적인 신경망 모델(CNN, RNN)과 학습 기법을 소개합니다.
• 근사 이론을 통한 표현력과 일반화에 대한 시각을 논의합니다.
• 딥 러닝에서의 학습 역학, 암시적 규제 및 알고리즘적 관점을 강조합니다.]
• method_
• method_
• method_
• method_

제안 방법

• 피드포워드 신경망과 컴퓨테이셔널 그래프에서의 역전파를 통한 학습을 설명합니다.
• 핵심 구성 요소(CONV, POOL, LSTM 변형)와 가중치 공유를 가진 합성곱 및 순환 신경망을 설명합니다.
• 딥 네트에서의 근사 이론을 통한 표현력 분석을 제시합니다.
• 딥 러닝에서의 확률적 경사 하강법, 정규화 및 일반화 제어를 논의합니다.]
• research_questions_
• research_questions_
• research_questions_
• research_questions_

실험 결과

연구 질문

• RQ1 딥 러닝이 고전적 통계 방법과 근본적으로 어떻게 구별되는가?
• RQ2 깊이와 과다 매개화가 표현력, 학습 및 일반화에 어떤 영향을 미치는가?
• RQ3 딥 네트워크의 근사력과 일반화에 대한 이론적 기초는 무엇인가?
• RQ4 인기 모델(CNN, RNN) 및 학습 기법이 실용적 성능에 어떻게 기여하는가?]
• RQ5 key_findings_
• RQ6 key_findings_
• RQ7 key_findings_
• RQ8 key_findings_

주요 결과

• 딥 러닝은 데이터의 복잡한 의존성을 모델링하기 위해 다수의 비선형 함수를 조합하는 데 의존합니다.
• 깊이는 얕은 모델이 처리하기 어려운 상호 작용의 효율적 표현을 가능하게 합니다.
• 과다 매개화는 SGD로 거의 0에 가까운 학습 오차를 만들 수 있으며 일반화를 합리적으로 유지합니다.
• 훈련을 통한 암시적 사전 학습은 명시적 특징 설계 없이도 유용한 표현을 가능하게 합니다.
• 이 논문은 딥 네트의 근사 이론 발전을 고찰하고, 균일/수렴 분석을 통한 일반화를 논의합니다.]
• table_headers_
• table_headers_
• table_headers_
• table_headers_