[論文レビュー] Higher Order Recurrent Neural Networks

Rohollah Soltani, Hui Jiang|arXiv (Cornell University)|Apr 30, 2016

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、複数の異なる重みを持つ再帰的フィードバック経路を組み込むことで、長期依存性の学習を向上させる、新しいRNNアーキテクチャである高次再帰ニューラルネットワーク（HORNNs）を紹介する。HORNNsは、より優れた短期記憶を実現する。Penn Treebankおよびtext8で評価された結果、HORNNsは標準的なRNNやLSTMを著しく上回る最先端の性能を達成した。

ABSTRACT

In this paper, we study novel neural network structures to better model long term dependency in sequential data. We propose to use more memory units to keep track of more preceding states in recurrent neural networks (RNNs), which are all recurrently fed to the hidden layers as feedback through different weighted paths. By extending the popular recurrent structure in RNNs, we provide the models with better short-term memory mechanism to learn long term dependency in sequences. Analogous to digital filters in signal processing, we call these structures as higher order RNNs (HORNNs). Similar to RNNs, HORNNs can also be learned using the back-propagation through time method. HORNNs are generally applicable to a variety of sequence modelling tasks. In this work, we have examined HORNNs for the language modeling task using two popular data sets, namely the Penn Treebank (PTB) and English text8 data sets. Experimental results have shown that the proposed HORNNs yield the state-of-the-art performance on both data sets, significantly outperforming the regular RNNs as well as the popular LSTMs.

研究の動機と目的

• 順序データにおける標準的なRNNの長期依存性を捉える能力の制限を解決すること。
• より良い順序モデリングのため、再帰的ネットワークにおける短期記憶メカニズムを改善すること。
• 複雑なゲーティング機構に依存せずに、標準的なRNNを拡張可能な一般化アーキテクチャを構築すること。
• 提案されたモデルを標準的な言語モデリングベンチマークで評価し、性能向上を実証すること。

提案手法

• HORNNsは、異なる過去の隠れ状態を格納し、再帰的にフィードバックする複数のメモリユニットを導入することで、標準的なRNNを拡張する。
• 各過去状態は別々の重み付き経路を通じてフィードバックされ、信号処理におけるデジタルフィルタの動作を模倣する。
• バックプロパゲーション・スル・タイム（BPTT）との互換性を維持することで、エンドツーエンドの学習が可能になる。
• フィードバック経路は学習中に最適化され、ネットワークがさまざまな過去の状態からの寄与を動的に重みづけられるようになる。
• モデルは汎用的であり、多様な順序モデリングタスクに適用可能である。
• 構造は高次フィルタ応答にインspiredされており、より豊かな時系列表現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の再帰的フィードバック経路を持つ変更されたRNNアーキテクチャが、順序データにおける長期依存性の学習を向上させることができるか？
• RQ2 HORNNアーキテクチャは、言語モデリングタスクにおいて標準的なRNNやLSTMと比較してどのように異なるか？
• RQ3 多経路フィードバック機構は、再帰的ネットワークにおける短期記憶容量をどの程度向上させることができるか？
• RQ4 HORNNアーキテクチャは、さまざまな順序モデリングベンチマークに一般化可能か？

主な発見

• HORNNsは、Penn Treebank（PTB）言語モデリングベンチマークで最先端の性能を達成した。
• HORNNsは、PTBデータセットにおいて、標準的なRNNやLSTMを著しく上回った。
• 英語版text8データセットでも優れた結果を達成し、異なるシーケンス長にわたる強力な一般化能力を示した。
• 性能向上は、複数の重み付きフィードバック経路によって強化された短期記憶メカニズムに起因する。
• HORNNアーキテクチャは、BPTTのような標準的な訓練手順と互換性を保っているため、実用的である。
• 結果から、ゲーティング機構がより複雑なLSTMよりも、フィードバック構造のアーキテクチャ的改善が性能を上回ることを確認した。