[論文レビュー] Minimal Gated Unit for Recurrent Neural Networks

Guobing Zhou, Jianxin Wu+2 more|arXiv (Cornell University)|Mar 31, 2016

Neural Networks and Applications参考文献 1被引用数 11

ひとこと要約

本論文は、1つのゲートを備えた簡素化された再帰的ニューラルネットワーク（RNN）隠れユニット、Minimal Gated Unit（MGU）を提案する。このMGUは、GRUの2/3、LSTMの1/2にまでパラメータを削減する。最小限の設計にもかかわらず、多様なシーケンスタスクにおいてGRUと同等の精度を達成するとともに、著しく高速な学習と少ないメモリ使用量を実現する。

ABSTRACT

Recently recurrent neural networks (RNN) has been very successful in handling sequence data. However, understanding RNN and finding the best practices for RNN is a difficult task, partly because there are many competing and complex hidden units (such as LSTM and GRU). We propose a gated unit for RNN, named as Minimal Gated Unit (MGU), since it only contains one gate, which is a minimal design among all gated hidden units. The design of MGU benefits from evaluation results on LSTM and GRU in the literature. Experiments on various sequence data show that MGU has comparable accuracy with GRU, but has a simpler structure, fewer parameters, and faster training. Hence, MGU is suitable in RNN's applications. Its simple architecture also means that it is easier to evaluate and tune, and in principle it is easier to study MGU's properties theoretically and empirically.

研究の動機と目的

• LSTM や GRU のような複雑で競合する設計が原因で、RNNアーキテクチャ分野に合意形成や理論的理解が不足している問題に対処すること。
• パフォーマンスを損なわずに、ゲーテッドRNNユニットのモデルの複雑さとパラメータ数を削減すること。
• 1つのゲートのみを備えた最小限のゲーテッドユニットを提案し、アーキテクチャ、学習、および今後の理論的分析を単純化すること。
• 最小限の設計がGRUと同等の精度を達成できるか、かつ学習効率を向上させられるかを評価すること。
• 実用的および研究的用途の両方で、既存のゲーテッドRNNユニットのより単純で分析しやすい代替案を提供すること。

提案手法

• MGUは、GRU や LSTM に見られる更新ゲートとピーポス接続を省き、情報の流れを制御する1つのゲート（フォグットゲート）を導入する。
• 隠れ状態はゲーテッド機構を用いて計算され、h_t = (1 - z_t) * h_{t-1} + z_t * tanh(W * x_t + U * h_{t-1}) と表される。ここで z_t はフォグットゲートである。
• ゲートは z_t = sigmoid(W_z * x_t + U_z * h_{t-1}) として計算され、ゲート計算に1つの学習可能な重み行列が使用される。
• 複数の隠れ状態や複雑な接続を回避することで、パラメータ数と計算オーバーヘッドを最小限に抑える。
• 標準的な時間方向の誤差逆伝播（backpropagation through time）と勾配降下法を用いて学習が行われ、GRU や LSTM と同様の方法である。
• 実験では、言語モデリングや動画行動認識を含む多様なシーケンスタスクにおいて、MGU を GRU、LSTM、IRNN、SCRN と比較した。

実験結果

リサーチクエスチョン

• RQ1 1つのゲートのみを備えたゲーテッドRNNユニットが、その最小限の設計にもかかわらず、GRUと同等の性能を達成できるか？
• RQ2 RNNユニットのパラメータ数とゲート数を減らすことで、精度を損なわずに学習を高速化できるか？
• RQ3 MGUのような単純なアーキテクチャが、今後のRNNの理論的分析や実証的理解を容易にできるか？
• RQ4 MGUは、シーケンス長やデータタイプが異なる多様なシーケンスタスクでどのように性能を発揮するか？
• RQ5 実世界の応用において、MGUはGRU や LSTM よりもより高いデータおよび計算効率を示すか？

主な発見

• 500個の隠れユニットを用いた場合、Penn TreeBankデータセットにおいてMGUはテストパープレキシティが105.89を記録し、同条件でGRUの106.02と同等の性能を達成した。
• 400個の隠れユニットを用いた場合、MGUはテストパープレキシティ106.02を達成し、Jozefowiczら（2015）が報告したGRUの108.42を上回った。
• MGUはGRUの2/3のパラメータ数にまで削減されており、400ユニットの場合、GRU（722,400パラメータ）からMGU（481,600パラメータ）にまで減少した。
• 1エポックあたりの学習速度は、MGUがGRUより約10〜15％速く、400ユニットの場合、MGUは190秒、GRUは201秒を要した。
• 500ユニットのMGUは、300ユニットのGRUよりも高速に学習が可能であり、同じ時間内により多くのエポックを実行でき、さらなる性能向上が見込まれる。
• Penn TreeBankデータセットにおいて、500ユニットのMGUは、300ユニットのGRU（110.92）よりも低い検証パープレキシティ（107.92）を達成しており、一部のケースでより速い収束を示した。