[논문 리뷰] Tricks from Deep Learning

Atılım Güneş Baydin, Barak A. Pearlmutter외 1명|arXiv (Cornell University)|2016. 11. 10.

Neural Networks and Applications참고 문헌 16인용 수 6

한 줄 요약

이 논문은 대규모 깊은 신경망에서 학습 효율성과 안정성을 향상시키는 데 핵심이 되는 딥러닝 기법들—특히 기울기와 최적화 기법들—을 식별하고 설명한다. 이 기법들, 예를 들어 배치 정규화, 드롭아웃, 확률적 최적화 등은 알고리즘 미분의 통찰에 뿌리를 두고 있으며, 표준 AD보다 실용적인 개선을 제공하고 스케일러블하고 고성능의 학습 시스템을 가능하게 한다.

ABSTRACT

The deep learning community has devised a diverse set of methods to make gradient optimization, using large datasets, of large and highly complex models with deeply cascaded nonlinearities, practical. Taken as a whole, these methods constitute a breakthrough, allowing computational structures which are quite wide, very deep, and with an enormous number and variety of free parameters to be effectively optimized. The result now dominates much of practical machine learning, with applications in machine translation, computer vision, and speech recognition. Many of these methods, viewed through the lens of algorithmic differentiation (AD), can be seen as either addressing issues with the gradient itself, or finding ways of achieving increased efficiency using tricks that are AD-related, but not provided by current AD systems. The goal of this paper is to explain not just those methods of most relevance to AD, but also the technical constraints and mindset which led to their discovery. After explaining this context, we present a "laundry list" of methods developed by the deep learning community. Two of these are discussed in further mathematical detail: a way to dramatically reduce the size of the tape when performing reverse-mode AD on a (theoretically) time-reversible process like an ODE integrator; and a new mathematical insight that allows for the implementation of a stochastic Newton's method.

연구 동기 및 목표

• 대규모 깊은 신경망에서 기울기 계산과 최적화 문제를 해결하기 위해 딥러닝 커뮤니티에서 개발한 실용적 방법들을 식별하고 설명하는 것.
• 표준 AD 시스템에서 원천적으로 지원하지 않는 AD 관련 문제를 암묵적으로 해결하는 딥러닝 관행을 보여줌으로써 알고리즘 미분(AD)과 딥러닝 사이의 격차를 메우는 것.
• 딥러닝의 성공이 기울기 행동과 계산 효율성을 향상시키는 아키텍처적 및 최적화 혁신에 기인해 있으며, 특히 기울기 소실/폭발 문제에 대비하여 유의미한 영향을 미친다는 것을 보여주는 것.
• 효율적인 확률적 헤시안 역행렬-벡터 곱 추정을 위한 수학적 통찰을 제시하여 수렴 성질이 입증된 새로운 확률적 뉴턴 방법을 가능하게 하는 것.
• 딥러닝 커뮤니티에서 유용하게 전이 가능한 실용적 기법들을 강조함으로써 AD 및 딥러닝 커뮤니티 간의 협업을 촉진하는 것.

제안 방법

• 딥 네트워크에서 기울기 안정성과 최적화 향상을 위해 배치 정규화 및 잔차 연결과 같은 아키텍처 수정을 도입한다.
• 큰 기울기 값이 사전 정의된 임계값 이하로 제한되도록 해서 역전파 중 기울기 폭발을 방지하기 위해 기울기 클리핑을 제안한다.
• 학습 중 뉴런을 무작위로 비활성화함으로써 공적응을 감소시키고 일반화 성능을 향상시키는 정규화 기법으로 드롭아웃을 활용한다.
• 활성화 및 기울기 분산을 층 간에 안정적으로 유지하기 위해 철저한 가중치 초기화(예: 헤 또는 색션)를 사용하여 수렴 속도를 가속화한다.
• 검증 세트에서 일반화 성능이 더 이상 향상되지 않을 때 학습을 중단하여 과적합을 방지하기 위해 조기 정지 기법을 적용한다.
• 확률적 시리즈 전개와 확률적 샘플링을 사용하여 헤시안 역행렬-벡터 곱에 대한 편향 없는 확률적 추정기를 개발하여 효율적인 확률적 뉴턴 방법을 구현한다.

실험 결과

연구 질문

• RQ1 딥러닝 아키텍처는 깊고 비선형적인 네트워크에서 흔히 발생하는 기울기 소실 및 폭발 문제를 어떻게 완화하는가?
• RQ2 배치 정규화 및 잔차 연결과 같은 아키텍처 구성 요소가 기울기 흐름과 최적화 안정성 향상에 어떤 역할을 하는가?
• RQ3 학습의 초기 일시적 단계 동안 확률적 최적화 방법을 더 강력하고 효율적으로 만들 수 있는가, 단지 渐近적으로 성능 향상이 아니라서?
• RQ4 확률적 헤시안-벡터 곱을 사용하여 헤시안 역행렬-벡터 곱에 대한 편향 없는 추정기를 효율적으로 구성할 수 있는가?
• RQ5 딥러닝 관행은 표준 AD 시스템에서 다루지 않는 알고리즘 미분 문제를 어떻게 암묵적으로 해결하는가?

주요 결과

• 배치 정규화 및 잔차 연결과 같은 아키텍처 혁신은 기울기 흐름을 크게 향상시켜 매우 깊은 네트워크의 학습을 가능하게 한다.
• 기울기 클리핑은 역전파 중 기울기 폭발을 효과적으로 방지하여 순환 및 깊은 네트워크에서 학습 안정성을 향상시킨다.
• 드롭아웃은 학습 중 뉴런을 무작위로 비활성화함으로써 뉴런 간의 공적응을 감소시키고 일반화 성능을 향상시키며, 추론 시 스케일링을 통해 성능을 복원한다.
• 헤 또는 색션 초기화와 같은 철저한 가중치 초기화 방법은 층 간에 안정적인 활성화 및 기울기 분산을 유지하여 수렴 속도를 가속화한다.
• 조기 정지는 검증 세트에서 성능이 저하되기 시작할 때 학습을 중단함으로써 일반화 성능을 향상시키며, 학습 손실이 계속 감소하더라도 이를 방지한다.
• 확률적 시리즈 전개를 사용하면 헤시안 역행렬-벡터 곱에 대한 편향 없는 추정기를 효율적으로 구성할 수 있으며, 이는 수렴 성질이 입증된 효율적인 확률적 뉴턴 방법을 가능하게 한다.