[論文レビュー] Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling

Jun‐Young Chung, Çaǧlar Gülçehre+2 more|arXiv (Cornell University)|Dec 11, 2014

Music and Audio Processing参考文献 16被引用数 10,749

ひとこと要約

この論文は、シーケンスモデリングタスクにおいてLSTM、GRU、tanh RNNユニットを比較し、ゲート付きユニットがtanhを上回る、データセットによってはGRUがLSTMに匹敵または上回ることを示している。

ABSTRACT

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

研究の動機と目的

• シーケンスモデリングにおけるゲート付きリカレントユニット（LSTMとGRU）を伝統的なtanhユニットと比較する評価を促進する。
• ゲーティングが音楽と音声データセットで性能、収束速度、一般化を改善するかを評価する。
• ユニットタイプ間でモデルパラメータ数を揃え、トレーニングダイナミクスを報告することにより、公平な比較を提供する。

提案手法

• 三つのリカレントユニット：LSTM、GRU、tanh RNNを記述し実装する。
• ノットウィンガム?? Notation? Notationはそのまま：ノットゥ- Notation? Actually keep original: Notingham、JSB Chorales、MuseData、Piano-midiを含む多声音楽データセットおよび Ubisoft の音声データセット（AとB）に適用する。
• 音楽モデルにはロジスティックシグモイド出力を、音声モデルにはガウス混合モデルの出力を用いる。
• モデル間で比較可能なパラメータ数を使用して過学習を抑制し、重みノイズと勾配クリッピングを伴うRMSPropを適用する。
• トレーニングおよびテストセット上での負の対数尤度を用いて評価し、学習曲線によって収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付きユニット（LSTMとGRU）は、伝統的なtanhユニットをシーケンスモデリングのタスクで上回るか。
• RQ2 LSTMとGRUの間で、どちらのゲート付きユニットがデータセット全体でより良い性能、収束、一般化をもたらすか。
• RQ3 これらのユニットは多声音楽モデリングと生の音声信号モデリングでどのように比較されるか。
• RQ4 公正な比較のためにモデルサイズを揃えた場合、GRUはLSTMに対して競争力があるか。

主な発見

• ゲート付きユニットは音楽データセットと音声データセットの両方でtanh RNNを上回る。
• GRUは複数の音楽データセットでしばしLSTMを上回り、トレーニングの収束が速い。
• Ubisoft の音声データセットでは、LSTMとGRUの双方がtanhを上回り、Ubisoft A ではLSTMが最も良く、Ubisoft B ではGRUが最も良い。
• 収束速度（更新回数とCPU時間）は音楽データセットでGRUの方がLSTMより速く、tanhはUbisoftデータセットでは学習が限られているため進歩が乏しい。
• 本研究はLSTMとGRUの明確な一貫した勝者を結論づけることはできず、効果はデータセット依存であるように見える。