[論文レビュー] Recurrently Controlled Recurrent Networks

Yi Tay, Anh Tuan Luu+1 more|arXiv (Cornell University)|Nov 24, 2018

Topic Modeling被引用数 14

ひとこと要約

本論文は、リスナーRNNのゲーティング関数を動的に学習するコントローラーRNNを備えた、新たなRNNアーキテクチャ「再帰的制御RNN（RCRN）」を提案する。このアーキテクチャにより、より表現力のあるシーケンス符号化が可能となり、26のNLPベンチマークにおいて、標準的およびスタックドBiLSTMを上回る性能を達成するとともに、同等または優れた推論効率を維持する。

ABSTRACT

Recurrent neural networks (RNNs) such as long short-term memory and gated recurrent units are pivotal building blocks across a broad spectrum of sequence modeling problems. This paper proposes a recurrently controlled recurrent network (RCRN) for expressive and powerful sequence encoding. More concretely, the key idea behind our approach is to learn the recurrent gating functions using recurrent networks. Our architecture is split into two components - a controller cell and a listener cell whereby the recurrent controller actively influences the compositionality of the listener cell. We conduct extensive experiments on a myriad of tasks in the NLP domain such as sentiment analysis (SST, IMDb, Amazon reviews, etc.), question classification (TREC), entailment classification (SNLI, SciTail), answer selection (WikiQA, TrecQA) and reading comprehension (NarrativeQA). Across all 26 datasets, our results demonstrate that RCRN not only consistently outperforms BiLSTMs but also stacked BiLSTMs, suggesting that our controller architecture might be a suitable replacement for the widely adopted stacked architecture.

研究の動機と目的

• スタックドRNNの限界（勾配消失や深層での特徴伝搬の困難さ）を解消するため、階層的スタックの代替手法を提案すること。
• モデルの深さを増さずに、1つのRNNが学習されたゲーティング関数を通じて別のRNNを制御することにより、シーケンス符号化能力を向上させること。
• コントローラー・リスナー構造が、シーケンスモデリングタスクにおけるスタックドRNNの代替として実用的かつ効果的であることを示すこと。
• 感情分析、質問分類、読解理解を含む多様なNLPタスクにおけるRCRNの性能を評価すること。
• 特にcuDNN最適化環境下での推論性能を考慮し、標準的およびスタックドBiLSTMと比較してRCRNの計算効率がどの程度であるかを分析すること。

提案手法

• RCRNは、コントローラーセルとリスナーセルの2つのコンponentから構成され、両方ともRNNとして実装されている。
• コントローラーRNNは、各タイムステップでリスナーRNNのゲーティングパラメータ（入力ゲート、忘れゲート、出力ゲートなど）を生成する。
• リスナーリングRNNは、コントローラーが生成したゲートを用いて隠れ状態の遷移を調整し、適応的な情報フローを実現する。
• このアーキテクチャは同じ階層レベルで並列に動作するため、RNN層の深さを重ねる必要がなく、効率的な構造となる。
• コントローラー・リスナーメカニズムは、標準的な時間方向の誤差逆伝播法を用いてエンドツーエンドで学習される。
• 特に長いシーケンスの処理を想定し、訓練および推論速度の向上を図るべく、CUDA最適化版のRCRNが実装されている。

実験結果

リサーチクエスチョン

• RQ1 リスナーRNNのゲーティング関数を動的に学習するコントローラーRNNは、シーケンスモデリングタスクにおいて、標準的スタックドBiLSTMアーキテクチャを上回る性能を発揮できるか？
• RQ2 特に長距離依存関係のモデリングにおいて、階層的スタックの代わりにコントローラー・リスナーモデルが、より優れた表現学習を実現できるか？
• RQ3 特にcuDNN最適化された推論環境下において、RCRNの計算効率はスタックドBiLSTMと比べてどの程度であるか？
• RQ4 アテンション機構に依存せずに、RCRNが多様なNLPベンチマークでSOTA（最強）またはSOTAに近い性能を達成できるか？
• RQ5 コントローラー・リスナーメカニズムは、感情分析、帰結関係の分類、読解理解を含む複数のNLPタスクで、一貫して性能向上をもたらすほど十分に頑健か？

主な発見

• RCRNは、SST、IMDb、アマゾンレビュー、TREC、SNLI、SciTail、WikiQA、TrecQA、NarrativeQAを含む26のベンチマークデータセットすべてで、標準BiLSTMを上回った。
• アテンションを用いない状態で、WikiQAおよびTrecQAのMAPスコアでそれぞれ+2%の向上を達成し、アテンションプールを適用しても同様に+2%の向上を維持。MRRスコアは4〜7%の上昇を示した。
• NarrativeQA読解理解タスクでは、R-NETが3層のBiGRUを用いるのに対し、RCRNは単層RNNのみを用いても、すべての指標で1〜2%の向上を達成した。
• CUDA最適化版のRCRNは、3層BiLSTM（cuDNN）と同等の推論時間を達成しており、一部のシーケンス長ではそれ以上に高速であった。
• パラメータ数が類似するスタックドBiLSTMと比較して、RCRNは同等または優れた効率性を維持しており、特に長いシーケンスでは最適化版が3層BiLSTM（cuDNN）よりもわずかに高速であった。
• SST、TREC質問分類、および16のアマゾンレビューデータセットの全16件において、RCRNはSOTAに近い性能を達成しており、ドメインをまたいで優れた一般化性能を示した。