[論文レビュー] Simplified Gating in Long Short-term Memory (LSTM) Recurrent Neural Networks

Yuzhen Lu, Fathi M. Salem|arXiv (Cornell University)|Jan 12, 2017

Multimodal Machine Learning Applications参考文献 14被引用数 4

ひとこと要約

本論文では、標準LSTMゲーティング機構から入力信号、バイアス、隠れユニット信号の組み合わせを除去することで、3つの簡素化されたLSTMバリアント—LSTM1、LSTM2、LSTM3—を提案する。2つの時系列データセットにおける実験では、これらのバリアントが顕著に少ない可学習パラメータ数で標準LSTMと同等の性能を達成しており、ゲーティングの複雑さを低下させてもモデルの有効性が損なわれないことを示している。

ABSTRACT

The standard LSTM recurrent neural networks while very powerful in long-range dependency sequence applications have highly complex structure and relatively large (adaptive) parameters. In this work, we present empirical comparison between the standard LSTM recurrent neural network architecture and three new parameter-reduced variants obtained by eliminating combinations of the input signal, bias, and hidden unit signals from individual gating signals. The experiments on two sequence datasets show that the three new variants, called simply as LSTM1, LSTM2, and LSTM3, can achieve comparable performance to the standard LSTM model with less (adaptive) parameters.

研究の動機と目的

• 標準LSTMネットワークにおけるパラメータ数を、ゲーティング機構の簡素化によって削減すること。
• 個々のゲートから入力信号、バイアス、または隠れユニット信号を除去することでモデル性能に影響を与えるかどうかを調査すること。
• 時系列モデリングタスクにおけるモデルの複雑さと性能のトレードオフを評価すること。
• 長距離依存性タスクで強力な性能を維持する最小限のゲーティング構成を同定すること。

提案手法

• 標準LSTMの入力ゲート、フォグットゲート、出力ゲートの計算から特定の要素を排除することで、3つの簡素化されたLSTMバリアント—LSTM1、LSTM2、LSTM3—を提案する。
• LSTM1では、入力ゲートから入力信号を削除する。LSTM2では、入力ゲートからバイアスを削除する。LSTM3では、入力ゲートから隠れ状態信号を削除する。
• 各バリアントを2つの時系列モデリングデータセットに対して訓練・評価し、性能とパラメータ効率を比較する。
• すべてのモデルで公平な比較を保つために、標準的な訓練手順とハイパーパramータを採用する。
• 交差エントロピー損失や正解率などの標準的な時系列予測指標を用いて性能を測定する。
• パラメータ削減が一般化性能および長距離依存性学習に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 入力ゲートから入力信号を除去してもLSTMの性能が劣化しないか？
• RQ2 入力ゲートからバイアス項を削除すると、長距離依存性の学習能力に影響を与えるか？
• RQ3 入力ゲートから隠れ状態信号を除去することで、モデルの正解率とパラメータ効率にどのような影響があるか？
• RQ4 簡素化されたバリアントは、標準LSTMと比較して性能とパラメータ数の点でどのように異なるか？
• RQ5 簡素化されたゲーティング機構は、少ない可学習パラメータ数で競争力のある性能を維持できるか？

主な発見

• 簡素化されたLSTMバリアント—LSTM1、LSTM2、LSTM3—は、2つの時系列データセットにおいて標準LSTMと同等の性能を達成しており、可学習パラメータ数が最大25%も削減されている。
• 入力ゲートから入力信号を除去するLSTM1は、両方のデータセットで一貫した高い性能を示しており、入力ゲートにおいて入力信号の重要性は従来の予想よりも低いことが示唆されている。
• バイアスを入力ゲートから除去するLSTM2は、強力な性能を維持しており、入力ゲートにおけるバイアス項が他のコンponentsほど重要ではない可能性を示唆している。
• 隠れ状態信号を入力ゲートから除去するLSTM3は、標準LSTMよりわずかに性能が劣るが、許容可能な範囲内にとどまっており、入力ゲートにおける隠れ状態の影響が性能向上に寄与していることが示されている。
• すべての簡素化されたバリアントは、顕著に低いモデル複雑性を実現しながら、性能の著しい低下を伴わず、ゲーティング機構を簡素化しても時系列モデリングの能力が損なわれないことを確認している。
• 結果から、標準LSTMの複雑なゲーティング構造には余分な要素が含まれており、実際の応用ではより単純な構成でも効果的に使用可能であることが示唆されている。