[논문 리뷰] Optimization for deep learning: theory and algorithms

Ruoyu Sun|arXiv (Cornell University)|2019. 12. 19.

Stochastic Gradient Optimization Techniques참고 문헌 256인용 수 132

한 줄 요약

본 조사는 신경망 학습을 위한 최적화 방법과 이론을 검토하며, 기울기 문제, 학습 요령, 그리고 로컬 및 글로벌 학습 질문을 다룬다.

ABSTRACT

When and why can a neural network be successfully trained? This article provides an overview of optimization algorithms and theory for training neural networks. First, we discuss the issue of gradient explosion/vanishing and the more general issue of undesirable spectrum, and then discuss practical solutions including careful initialization and normalization methods. Second, we review generic optimization methods used in training neural networks, such as SGD, adaptive gradient methods and distributed methods, and theoretical results for these algorithms. Third, we review existing research on the global issues of neural network training, including results on bad local minima, mode connectivity, lottery ticket hypothesis and infinite-width analysis.

연구 동기 및 목표

• 신경망이 왜 성공적으로 학습하는지와 학습 성공에 영향을 주는 요인들을 설명한다.
• 기울기 폭주/소실 문제와 스펙트럼 제어를 실제적인 해결책과 함께 조사한다.
• 신경망에서 사용되는 일반적 최적화 알고리즘과 그 이론적 결과를 검토한다.
• 나쁜 국소 최솟값, 모드 연결성, 로또 티켓, 무한 너비 분석 등 글로벌 학습 과제를 논의한다.

제안 방법

• 기울기 폭주/소실 및 스펙트럼 제어를 논의하고, 면밀한 초기화 및 정규화와 같은 해결책을 제시한다.
• 역전파를 검토하고 체계화된 기울기 계산 프레임워크를 제공한다.
• 비볼록 문제를 위한 일반적 최적화 방법을 요약하며, SGD, 적응 방법, 분산 학습을 포함하고 수렴 인사이트를 제공한다.
• 신경망 특유의 요령과 그 이론적 기초에 대한 논의를 제시한다.
• 전역 최적화 시각에서 전망을 검토하며 지형적 특성 및 무한 폭 분석을 포함한다.

실험 결과

연구 질문

• RQ1 심층 신경망 학습에서 어떤 최적화 어려움이 발생하며 이를 어떻게 완화할 수 있는가?
• RQ2 초기화, 정규화 및 아키텍처 선택이 수렴 및 학습 속도에 어떤 영향을 미치는가?
• RQ3 딥러닝에서 기울기 기반 방법의 이론적 보장과 한계는 무엇인가?
• RQ4 좋은 해를 찾는 능력에 영향을 미치는 신경망의 글로벌 특성은 무엇인가(예: 국소 최솟값, 모드 연결성, 로또 티켓, NTK 등)?

주요 결과

• 기울기 폭주 및 소실과 같은 기울기 이슈는 학습 난이도의 핵심이며 수렴 속도 및 지형 특성과 연관된다.
• 면밀한 초기화 및 정규화는 학습의 안정화와 수렴 가능성에 결정적 역할을 한다.
• SGD와 적응 방법, 그리고 분산 학습은 특정 가정 하에서 수렴성과 복잡도 결과가 확립된 핵심 최적화 도구이다.
• 전역 최적화 관점은 모드 연결성 및 무한 너비 특성과 같은 현상을 드러내어 학습 역학을 이해하는 데 정보를 제공한다.
• 이론적 분석은 초기화, 신호 전파 및 너비를 다양한 활성화 함수에 걸쳐 실용적 학습 성공과 연결한다.