[論文レビュー] Gated Orthogonal Recurrent Units: On Learning to Forget

Jing Li, Çaǧlar Gülçehre+5 more|arXiv (Cornell University)|Jun 8, 2017

Topic Modeling被引用数 14

ひとこと要約

この論文では、安定した長期記憶を実現する直交行列を用いた重み行列と、学習可能なゲーティング機構を組み合わせることで、効果的な忘却を可能にする、Gated Orthogonal Recurrent Units (GORU) と呼ばれる新しいRNNアーキテクチャを提案する。GRUスタイルのゲートと直交遷移を統合することで、GORUはbAbI QA、Penn Treebank、TIMIT、および合成タスクを含む長期依存性タスクにおいて、LSTM、GRU、およびユニタリRNNを凌駃し、記憶と忘却の両面で優れた性能を示す。

ABSTRACT

We present a novel recurrent neural network (RNN) based model that combines the remembering ability of unitary RNNs with the ability of gated RNNs to effectively forget redundant/irrelevant information in its memory. We achieve this by extending unitary RNNs with a gating mechanism. Our model is able to outperform LSTMs, GRUs and Unitary RNNs on several long-term dependency benchmark tasks. We empirically both show the orthogonal/unitary RNNs lack the ability to forget and also the ability of GORU to simultaneously remember long term dependencies while forgetting irrelevant information. This plays an important role in recurrent neural networks. We provide competitive results along with an analysis of our model on many natural sequential tasks including the bAbI Question Answering, TIMIT speech spectrum prediction, Penn TreeBank, and synthetic tasks that involve long-term dependencies such as algorithmic, parenthesis, denoising and copying tasks.

研究の動機と目的

• ユニタリRNNおよび直交RNNが不要またはノイズの多い情報を効果的に忘れる能力に欠けるという限界を解消すること。
• 直交行列の勾配安定性と、GRUのようなゲーティング機構による選択的記憶制御を統合すること。
• 長期依存性を同時に捉え、余分なまたはノイズの多い入力を破棄できるモデルを開発すること。
• 直交RNNが有効な忘却機構を欠いていること、およびGORUがこの限界を克服できることを実証的に検証すること。
• 長期記憶と関連情報への選択的注目を要するベンチマークタスクで、優れた性能を示すこと。

提案手法

• GRUのリセットゲートパスにおける隠れ状態から隠れ状態への重み行列を直交行列に置き換え、長時間にわたるシーケンスでも勾配の流れを維持する。
• モッドReLU活性化関数を用いて、ゲーティング更新パスにおける非線形性を保ちながらも直交性を維持する。
• GRUにインspiredされた学習可能な更新ゲートとリセットゲートを導入し、隠れ状態への情報の流れを制御する。
• 重み減衰とバッチ正則化を伴う標準的な最適化（例：RMSProp、Adam）を用いてモデルを訓練し、パrameterizationにより直交制約を維持する。
• ハウスホルダー変換またはカイリー変換を用いた微分可能な直交行列パラメータライゼーションを実装し、訓練中に直交性を強制する。
• 実世界および合成された順序タスクの両方でモデルを評価し、LSTM、GRU、EURNNと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 直交RNNは順序データにおける不要またはノイズの多い情報を効果的に忘れることができるか？
• RQ2 ゲーティング機構と直交遷移を組み合わせることで、標準RNNおよびユニタリRNNと比較して、長期依存性タスクにおける性能が向上するか？
• RQ3 ノイズ除去やコピーツールのような、忘却が鍵となるタスクにおいて、GORUはどのように性能を発揮するか？
• RQ4 bAbI、Penn Treebank、TIMITのようなベンチマークで、GRU、LSTM、EURNNといった既存モデルを上回る性能をGORUが示せるか？
• RQ5 各ゲーティングコンponent（リセットゲートと更新ゲート）がGORU全体の性能に果たす寄与度はどの程度か？

主な発見

• bAbI質疑応答ベンチマークにおいて、GORUは平均テスト正答率60.4%を達成し、GRU（58.2%）、LSTM（56.0%）、EURNN（52.9%）を上回った。
• Penn Treebankの文字レベル言語モデリングタスクでは、GORUが1.623ビット/文字を達成し、EURNN（1.715）を顕著に上回り、LSTMおよびGRUと同等の性能を示した。
• TIMITデータセットにおける音響スペクトル予測タスクでは、GORUがテストセットMSE 47.6を達成し、LSTM（57.5）、GRU（57.3）、EURNN（51.9）を上回り、パラメータ数も少ない。
• 合成されたノイズ除去タスクでは、ユニタリRNNは崩壊的に失敗したが、GORUはノイズを効果的にフィルタリングすることができ、忘却能力を示した。
• アブレーションスタディの結果、GORUのリセットゲートまたは更新ゲートを無効化すると、それぞれ1.722および1.754 bpcの顕著な性能低下が生じ、両方のゲートの必要性が確認された。
• テストされたモデルの中で、GORUだけがコピーツールタスクとノイズ除去タスクの両方を正常に解消でき、記憶と忘却の両立されたメカニズムの優位性を示した。