[논문 리뷰] Training Recurrent Neural Networks by Diffusion

Hossein Mobahi|arXiv (Cornell University)|2016. 01. 16.

Model Reduction and Neural Networks참고 문헌 25인용 수 26

한 줄 요약

이 논문은 확산 방정식을 통한 최적화에 기반한 순환 신경망(RNNs)의 새로운 학습 방법을 제안한다. 이 방법은 노이즈 주입, 계층별 사전학습, 차츰 감소하는 학습률과 같은 기법들을 자연스럽게 통합한다. 이 방법은 가우시안 컨볼루션을 사용해 손실 경계를 점진적으로 스무딩하여, SGD와 유사한 일반화 성능을 훨씬 적은 에포크 수로 달성한다—RNN의 경우 최대 25% 빠른 학습이 가능하다.

ABSTRACT

This work presents a new algorithm for training recurrent neural networks (although ideas are applicable to feedforward networks as well). The algorithm is derived from a theory in nonconvex optimization related to the diffusion equation. The contributions made in this work are two fold. First, we show how some seemingly disconnected mechanisms used in deep learning such as smart initialization, annealed learning rate, layerwise pretraining, and noise injection (as done in dropout and SGD) arise naturally and automatically from this framework, without manually crafting them into the algorithms. Second, we present some preliminary results on comparing the proposed method against SGD. It turns out that the new algorithm can achieve similar level of generalization accuracy of SGD in much fewer number of epochs.

연구 동기 및 목표

• 이론적으로 타당한 통합 프레임워크를 개발하여, 깊은 네트워크 학습에 일반적인 딥러닝 히وري스틱 기법들을 자연스럽게 통합한다.
• RNN과 깊은 네트워크에서 비볼록이고 복잡한 손실 경계를 최적화하는 데 도전한다.
• 반복적이고 히وري스틱적인 기법을 원칙적이고 연속적인 스무딩 과정으로 대체하여 학습 효율성을 향상시킨다.
• 확산 기반 최적화가 SGD보다 더 적은 학습 에포크 수로 더 나은 일반화 성능을 달성할 수 있는지 조사한다.
• ReLU 및 부호 활성화 함수를 포함한 일반적인 딥러닝 목적 함수의 확산 형태에 대한 닫힌 형태의 근사치를 제공한다.

제안 방법

• 원래 목적 함수를 가우시안 커널과 컨볼루션하여 스무딩된 대체 목적 함수를 유도함으로써, 시간에 따라 확산 방정식을 해석한다.
• 스무딩 매개변수 σ는 큰 값(매우 스무딩됨)에서 0(원래 손실)으로 점차 감소시키며, 이는 중간 문제들을 거쳐 최소화점을 따라가는 연속성 방법을 가능하게 한다.
• 일반적인 활성화 함수(예: ReLU, sign)의 확산 형태를 분석적으로 계산하여, 깊은 네트워크의 스무딩된 목적 함수를 닫힌 형태로 계산할 수 있도록 한다.
• 이 방법은 확산 과정을 통해 노이즈 주입, 계층별 사전학습, 안내 학습률과 같은 기법들을 통합하고 자연스럽게 유도한다.
• 알고리즘은 큰 σ(매우 스무딩된 목적 함수)에서 시작하여, σ가 감소함에 따라 점차 해를 정밀화함으로써 날카로운 최소값을 피하고 넓고 안정된 골짜기를 선호한다.
• 샘플링 기반의 노이즈 주입을 피하기 위해, 무한히 많은 편향의 영향을 닫힌 형태로 정리하여 계산함으로써, 전체 비볼록 최적화 문제에 적용 가능한 마진화된 노이즈 제거 autoencoder와 유사한 접근을 한다.

실험 결과

연구 질문

• RQ1 확산 방정식 프레임워크는 드롭아웃, 학습률 안내, 계층별 사전학습과 같은 일반적인 딥러닝 학습 히وري스틱 기법들을 통합하고 자연스럽게 생성할 수 있는가?
• RQ2 확산 기반 최적화 방법은 학습 시간을 줄이면서도 SGD와 유사한 일반화 성능을 달성할 수 있는가?
• RQ3 특히 ReLU 및 부호 활성화 함수를 포함한 딥러닝 손실 함수의 가우시안 컨볼루션은 닫힌 형태로 계산할 수 있는가?
• RQ4 스무딩 과정은 최적화 경로에 어떤 영향을 미치는가? 특히 열악한 국소 최소값을 벗어나고 넓고 안정된 최소값으로 수렴하는 데에 어떤 영향을 미치는가?
• RQ5 확산 기반 방법이 더 평평한 최소값을 선호함으로써 일반화 성능을 얼마나 향상시키며, 이는 SGD와 비교해 어떻게 다른가?

주요 결과

• 제안된 확산 기반 학습 방법은 SGD와 유사한 일반화 정확도를 달성하지만, 훨씬 적은 학습 에포크 수로 이를 달성한다—RNN의 경우 최대 25% 빠른 학습 시간을 기록한다.
• 이 프레임워크는 수동적인 공학 없이도 노이즈 주입, 계층별 사전학습, 안내 학습률을 확산 과정의 내재된 구성 요소로 자연스럽게 생성한다.
• ReLU 및 sign과 같은 일반적인 활성화 함수의 확산 형태는 닫힌 형태로 계산 가능하여, 스무딩된 목적 함수의 효율적 계산이 가능하다.
• 가우시안 컨볼루션을 통한 손실 경계 스무딩은 넓고 안정된 최소값을 선호하며, 이는 최근 SGD에 대한 연구 결과와 일치하는 더 나은 일반화에 기여할 수 있다.
• 이 방법은 샘플링을 피하고 무한히 많은 편향의 영향을 닫힌 형태로 정리하여 계산함으로써, 전체 비볼록 딥 네트워크에 적용 가능한 마진화된 노이즈 제거 autoencoder와 유사한 접근을 한다.
• 이 방법은 연속성 방법에 대한 확산의 최적성에 이론적으로 기반하며, 확산 과정은 목적 함수의 볼록 랩핑(convex envelope)으로 수렴한다.