[論文レビュー] Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies

Sarath Chandar, Chinnadhurai Sankar+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Neural Network Applications参考文献 31被引用数 4

ひとこと要約

本論文は、勾配の消失問題を軽減し、長期依存性の学習を向上させるために、飽和型活性化関数とゲートを非飽和型のReLUベースのコンponentに置き換える非飽和再帰ユニット（NRU）という、新しい再帰アーキテクチャを提案する。NRUは、パーカーシブMNISTやメモリコピータスクを含む複数のベンチマークで、LSTM、GRU、その他のRNN変種を凌駂数える、最先端の性能を達成している。

ABSTRACT

Modelling long-term dependencies is a challenge for recurrent neural networks. This is primarily due to the fact that gradients vanish during training, as the sequence length increases. Gradients can be attenuated by transition operators and are attenuated or dropped by activation functions. Canonical architectures like LSTM alleviate this issue by skipping information through a memory mechanism. We propose a new recurrent architecture (Non-saturating Recurrent Unit; NRU) that relies on a memory mechanism but forgoes both saturating activation functions and saturating gates, in order to further alleviate vanishing gradients. In a series of synthetic and real world tasks, we demonstrate that the proposed model is the only model that performs among the top 2 models across all tasks with and without long-term dependencies, when compared against a range of other architectures.

研究の動機と目的

• 長期依存性の学習を妨げる勾配の消失問題に対処すること。
• Sigmoid や tanh などの飽和型活性化関数や、LSTM や GRU における飽和型ゲートの制限を克服すること。これらは時間の経過とともに勾配を減衰させる。
• 勾配の飽和を回避することで、長時間のシーケンスにおいても安定した勾配伝搬を維持する新しい再帰ユニットアーキテクチャの開発。
• 非飽和コンponentが、長期および短期依存性タスクの両方において、従来のゲーテッドRNNを上回ることの実証。
• 非飽和かつメモリ拡張型のアーキテクチャを導入することで、一般用途のRNNにおける新しいベースラインを確立すること。

提案手法

• Sigmoid や tanh などの飽和非線形関数の代わりに、ReLU活性化関数を用いる新しい再帰ユニット（NRU）を提案する。
• LSTM や GRU と同様の加法的メモリ機構を実装し、情報が遷移演算子を bypass できるようにすることで、勾配の減衰を低減する。
• 飽和型ゲートの代わりに、極端な値においても飽和しない学習可能なゲーティング機構を導入し、勾配の大きさを維持する。
• 勾配爆発を防ぐために勾配クリッピングを用い、標準的な誤差逆伝搬法でNRUを訓練するが、安定した学習を実現するため、非飽和コンponentに依存する。
• 入力と隠れ状態を加法的パスを通じて組み合わせるメモリ状態の更新ルールを採用し、GRU や LSTM と同様の構造を持つが、非飽和非線形性を備える。
• 合成タスク（例：メモリコピータスク、順序付きMNIST）および実世界のベンチマークでNRUを評価し、勾配伝搬、収束速度、精度の比較を実施。

実験結果

リサーチクエスチョン

• RQ1 飽和型活性化関数やゲートを非飽和型の代替品に置き換えることで、再帰ネットワークにおける勾配伝搬が改善されるか？
• RQ2 非飽和ゲーティング再帰ユニット（NRU）は、標準的なLSTM や GRU よりも長期依存性タスクで優れた性能を示すか？
• RQ3 長時間のシーケンスにおいて、NRUは他のRNN変種と比較して収束速度と学習安定性に優れているか？
• RQ4 NRUは、長期および短期依存性の両方を含む多様なタスクにおいて、高い性能を維持できるか？
• RQ5 非飽和コンponentが、再帰ネットワークにおける勾配ノルムとメモリ保持力に与える影響は何か？

主な発見

• NRUは、パーカーシブ順序付きMNISTタスクで95.38%の最高テスト精度を達成し、EURNN（94.50%）やGRU（92.39%）を上回った。
• NRUは優れた勾配伝搬を示し、初期学習段階でLSTM-Chrono や JANET よりも顕著に高い勾配ノルムを示した。これは、信号伝搬の効率が良いことを示している。
• 特にメモリサイズが大きい場合（例：144ユニット）、RNN-orth や RNN-id よりもほぼ2倍速く収束し、より速く安定した収束を示した。
• NRUは長時間シーケンス（T = 1000–2000）においても安定した学習を維持でき、勾配スパイクが発生しても発散を示さなかった。これは、長期依存性に対して強い耐性を示している。
• シーケンス長が増加するメモリコピータスク（T = 100, 200, 500）において、NRUは安定した学習と正確なメモリ保持を示した。これは、長期的情報を効果的に保存できることを示している。
• NRUはLSTM-chrono よりも優れており、非飽和コンponentが利用可能な状況では、chrono初期化が常に性能向上をもたらすわけではないことが示された。