[논문 리뷰] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

Jun‐Young Chung, Çaǧlar Gülçehre외 2명|arXiv (Cornell University)|2014. 12. 11.

Music and Audio Processing참고 문헌 16인용 수 10,749

한 줄 요약

논문은 시퀀스 모델링 작업에서 LSTM, GRU, tanh RNN 유닛을 비교하고, 게이트가 있는 유닛들이 tanh보다 뛰어나며, 데이터셋에 따라 GRU가 흔히 LSTM과 같거나 LSTM을 능가한다는 것을 보여준다.

ABSTRACT

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

연구 동기 및 목표

• 시퀀스 모델링에 대해 게이트된 순환 유닛(LSTM 및 GRU)을 전통 tanh 유닛과 비교 평가하는 동기를 제시한다.
• 게이트가 성능, 수렴 속도 및 일반화가 음악 및 음성 데이터셋에서 향상되는지 평가한다.
• 단위 유형 간 모델 매개변수 수를 맞추고 학습 역학을 보고하여 공정한 비교를 제공한다.

제안 방법

• LSTM, GRU, 및 tanh RNN의 세 가지 순환 유닛을 설명하고 구현한다.
• 폴리포닉 음악 데이터셋(Nottingham, JSB Chorales, MuseData, Piano-midi)와 Ubisoft 음성 데이터셋(A 및 B)에 적용한다.
• 음악 모델에는 로지스틱 시그모이드 출력을 사용하고 음성 모델에는 mixture of Gaussians outputs를 사용한다.
• 과적합을 제어하기 위해 모델 간 유사한 매개변수 수를 사용하고 weight noise 및 그래디언트 클리핑이 적용된 RMSProp를 적용한다.
• 훈련 및 테스트 세트에서 음의 로그 가능도(negative log-likelihood)로 평가하고 학습 곡선을 통해 수렴을 분석한다.

실험 결과

연구 질문

• RQ1 게이트된 유닛(LSTM 및 GRU)이 시퀀스 모델링 작업에서 전통적인 tanh 유닛보다 우수한가?
• RQ2 LSTM과 GRU 중 어느 게이트 유닛이 데이터셋 전반에 걸쳐 더 나은 성능, 수렴, 일반화를 보이는가?
• RQ3 이 유닛들은 다중음악 모델링과 원시 음성 신호 모델링에서 어떻게 비교되는가?
• RQ4 동등한 모델 크기를 갖출 때 GRU가 LSTM과 경쟁력이 있는가?

주요 결과

• 게이트된 유닛은 음악과 음성 데이터셋에서 tanh RNN보다 우수하다.
• GRU는 여러 음악 데이터셋에서 자주 LSTM을 능가하고 학습 수렴이 더 빠르다.
• Ubisoft 음성 데이터셋에서 LSTM과 GRU 모두 tanh보다 우수하며 Ubisoft A에서 LSTM이 최상이고 Ubisoft B에서 GRU가 최상이다.
• 수렴 속도(업데이트 수 및 CPU 시간)는 음악 데이터셋에서 GRU가 LSTM보다 빠르고 tanh는 학습이 제한된 Ubisoft 데이터셋에서 진척이 좋지 않다.
• 연구 결과 LSTM과 GRU 사이에서 일관된 승자를 확정적으로 선언할 수 없었고 데이터셋에 따라 효과가 다르게 나타난다.