[論文レビュー] Deep Gate Recurrent Neural Network

Yuan Gao, Dorota Głowacka|arXiv (Cornell University)|Apr 11, 2016

Neural Networks and Applications被引用数 11

ひとこと要約

本稿では、単一の乗算ゲートを用いて情報の流れを制御する、LSTM や GRU よりもパラメータ数と計算時間を削減する新しい再帰的ニューラルネットワークユニット、Simple Gated Unit (SGU) と Deep Simple Gated Unit (DSGU) を提案する。DSGU は長期依存関係の学習をより高速にし、数値安定性を向上させる。また、RNN のユニット構造を明確に分析できる新しい RNN Conventional Graph (RCG) フレームワークを導入している。

ABSTRACT

This paper introduces two recurrent neural network structures called Simple Gated Unit (SGU) and Deep Simple Gated Unit (DSGU), which are general structures for learning long term dependencies. Compared to traditional Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU), both structures require fewer parameters and less computation time in sequence classification tasks. Unlike GRU and LSTM, which require more than one gates to control information flow in the network, SGU and DSGU only use one multiplicative gate to control the flow of information. We show that this difference can accelerate the learning speed in tasks that require long dependency information. We also show that DSGU is more numerically stable than SGU. In addition, we also propose a standard way of representing inner structure of RNN called RNN Conventional Graph (RCG), which helps analyzing the relationship between input units and hidden units of RNN.

研究の動機と目的

• LSTM や GRU などの従来の RNN が長期依存関係をモデル化する際に生じる高い計算コストとパラメータコストを低減すること。
• 再帰ユニット内のゲート数を減らし、アーキテクチャを単純化して学習を高速化すること。
• より良い学習性能を得るために、再帰ユニットにおける数値安定性を向上させること。
• RNN の内部構造を分析するための標準化された表現を構築し、解釈可能性と設計の質を向上させること。

提案手法

• 入力状態と隠れ状態間の情報の流れを制御する単一の乗算ゲートを用いる再帰ユニット「Simple Gated Unit (SGU)」を提案する。
• 構造のスタックによって数値安定性を向上させる、SGU の深層版である「Deep Simple Gated Unit (DSGU)」を導入する。
• RNN ユニットの関係を入力から隠れ状態へのマッピングとして形式的に表現する、RNN Conventional Graph (RCG) を設計する。
• LSTM や GRU と比較して、パラメータ数、推論速度、性能を評価するため、シーケンス分類タスクで SGU と DSGU を学習する。
• GRU や LSTM と同様に複数のゲートを用いるのではなく、単一の乗算ゲート機構を採用することで、更新ルールを単純化し、計算オーバーヘッドを低減する。
• 時間軸に沿った誤差逆伝播（backpropagation through time）と勾配ベース最適化を用いて、シーケンスデータ上でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 単一のゲートを持つ再帰ユニットが、LSTM や GRU よりも少ないパラメータと計算量で長期依存関係を学習する能力を示せるか？
• RQ2 提案された DSGU アーキテクチャが、基本的な SGU よりもシーケンスモデリングタスクにおいて優れた数値安定性を示すか？
• RQ3 RNN Conventional Graph (RCG) フレームワークが、再帰ユニットの内部構造を効果的に表現・分析できるか？
• RQ4 SGU と DSGU の学習速度と精度は、シーケンス分類ベンチマークにおいて LSTM や GRU と比べてどのように異なるか？

主な発見

• SGU と DSGU は、LSTM や GRU よりも顕著に少ないパラメータ数で、シーケンス分類タスクにおいて同等または優れた性能を達成する。
• SGU と DSGU に搭載された単一のゲート機構により、計算複雑度が低下し、学習および推論時間が短縮される。
• DSGU は SGU よりも優れた数値安定性を示し、深層または長大なシーケンスのモデリングに適している。
• 提案された RNN Conventional Graph (RCG) は、RNN の入力ユニットと隠れユニットの関係を明確かつ標準化された方法で表現・分析できる。
• 1つの乗算ゲートのみを用いることで、複数のゲートを持つアーキテクチャに比べ、長期依存関係の学習がより速く実現できる。
• 実験的結果から、SGU と DSGU はモデルの複雑さを低減しながらも、強力な性能を維持しており、その効率性と有効性が裏付けられている。