[논문 리뷰] MomentumRNN: Integrating Momentum into Recurrent Neural Networks

Tan M. Nguyen, Richard G. Baraniuk외 3명|arXiv (Cornell University)|2020. 06. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 56인용 수 6

한 줄 요약

이 논문은 은닉 상태 갱신 과정에 운동량을 통합하여 경사 하강법에 운동량을 적용한 방식으로 모델링하는 새로운 순환 신경망 아키텍처인 MomentumRNN을 제안한다. 이 방법은 여러 벤치마크, 즉 MNIST, TIMIT, PMNIST에서 훈련 속도를 크게 향상시키고 테스트 정확도를 높이며 기울기 소실 문제를 완화한다. 표준 RNN 및 LSTM과 비교해 정확도가 최대 0.28% 향상되고 수렴 속도가 최대 30% 빨라진다.

ABSTRACT

Designing deep neural networks is an art that often involves an expensive search over candidate architectures. To overcome this for recurrent neural nets (RNNs), we establish a connection between the hidden state dynamics in an RNN and gradient descent (GD). We then integrate momentum into this framework and propose a new family of RNNs, called {\em MomentumRNNs}. We theoretically prove and numerically demonstrate that MomentumRNNs alleviate the vanishing gradient issue in training RNNs. We study the momentum long-short term memory (MomentumLSTM) and verify its advantages in convergence speed and accuracy over its LSTM counterpart across a variety of benchmarks. We also demonstrate that MomentumRNN is applicable to many types of recurrent cells, including those in the state-of-the-art orthogonal RNNs. Finally, we show that other advanced momentum-based optimization methods, such as Adam and Nesterov accelerated gradients with a restart, can be easily incorporated into the MomentumRNN framework for designing new recurrent cells with even better performance. The code is available at https://github.com/minhtannguyen/MomentumRNN.

연구 동기 및 목표

• RNN 아키텍처 탐색의 높은 비용과 비효율성을 해결하기 위해 원칙적인 설계 프레임워크를 개발하기 위해.
• 장기적 의존성을 학습하는 데 장애가 되는 RNN 훈련 과정에서의 기울기 소실 문제를 극복하기 위해.
• 네트워크 아키텍처를 완전히 새로 수정하지 않고도 RNN의 훈련 속도와 일반화 성능을 향상시키기 위해.
• 운동량 기반 최적화를 순환 셀 설계로 일반화하여 다양한 RNN 변종에 광범위하게 적용 가능하도록 하기 위해.
• 역동 시스템 이론을 사용하여 RNN에 운동량 통합에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 논문은 RNN의 은닉 상태 동역학과 경사 하강법 간의 연결을 수립하여, 각 은닉 상태 갱신을 GD 단계로 모델링한다.
• 수렴 속도를 가속화하기 위해 네스터로-가속 경사 방법을 영감으로 삼아 은닉 상태에 대한 운동량 기반 갱신 규칙을 도입한다.
• 이 프레임워크는 표준 RNN 갱신 규칙을 운동량 강화된 버전으로 대체하는 운동량 셀로 수식화된다. 이는 속도 및 운동량 파라미터를 포함한다.
• LSTM, GRU, 직교 RNN 등 다양한 RNN 셀에 대해, 기존 갱신 메커니즘을 운동량 기반 등가로 교체함으로써 이 방법을 확장한다.
• Adam 및 재시작 기능이 있는 네스터로 최적화와 같은 고급 최적화 방법을 MomentumRNN 프레임워크에 통합하여 성능을 추가로 향상시킨다.
• 운동량 가속 동역학 시스템을 사용한 이론적 분석을 제공하여 수렴성과 안정성이 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 운동량이 체계적으로 순환 신경망 아키텍처에 통합되어 훈련 역학을 향상시킬 수 있는가?
• RQ2 RNN에 운동량 통합이 기울기 소실 문제를 완화하고 수렴 속도를 향상시키는가?
• RQ3 제안된 MomentumRNN 프레임워크는 LSTM, GRU, 직교 RNN을 포함한 다양한 RNN 아키텍처에 일반적으로 적용될 수 있는가?
• RQ4 순차적 모델링 벤치마크에서 표준 RNN 및 LSTM과 비교해 MomentumRNN의 테스트 정확도와 훈련 효율성은 어떠한가?
• RQ5 Adam 및 재시작 기능이 있는 네스터로와 같은 고급 운동량 기반 최적화 기법들이 MomentumRNN 프레임워크에 자연스럽게 통합될 수 있는가?

주요 결과

• MomentumLSTM는 PMNIST에서 95.37%의 테스트 정확도를 기록하여 기준 DTRIV보다 0.16% 높고, LSTM보다 0.08% 높았다.
• TIMIT 작업에서 MomentumDTRIV는 322개의 은닉 유닛을 사용해 테스트 MSE 1.17±0.05를 달성했으며, DTRIV의 1.87±0.17보다 유의미하게 뛰어났다.
• MomentumLSTM는 PMNIST에서 551분 만에 92.29%의 테스트 정확도를 달성했고, 표준 LSTM의 767분 대비 28% 빠른 훈련 시간을 기록했다.
• 추론 실험 결과, 최적의 운동량 및 학습률 조합이 모델 성능을 크게 향상시켰으며, 그림 7의 초록 셀이 뛰어난 성능을 나타냈다.
• MomentumRNN은 수렴 속도가 빠르고 과적합이 감소함을 PMNIST 및 TIMIT 작업의 훈련 및 테스트 손실 곡선을 통해 확인했다.
• 최신 직교 RNN에 대해서도 성공적으로 적용되어, 다양한 RNN 아키텍처에 걸쳐 광범위한 적용 가능성을 확인했다.