[論文レビュー] Recurrent Memory Networks for Language Modeling

Ke Tran, Arianna Bisazza+1 more|arXiv (Cornell University)|Jan 6, 2016

Topic Modeling参考文献 34被引用数 22

ひとこと要約

本論文は、長短記憶（LSTM）ネットワークを強化するための新しいRNNアーキテクチャ、再帰的メモリネットワーク（RMN）を紹介する。RMNは、関連する歴史的単語への選択的注目を可能にするメモリブロックを統合しており、言語モデリングおよび文の完成タスクで最先端の性能を達成している。文の完成チャレンジではLSTMを11.2%上回る正確性を示し、明示的な注目メカニズムにより解釈可能性が向上している。

ABSTRACT

Recurrent Neural Networks (RNN) have obtained excellent result in many natural language processing (NLP) tasks. However, understanding and interpreting the source of this success remains a challenge. In this paper, we propose Recurrent Memory Network (RMN), a novel RNN architecture, that not only amplifies the power of RNN but also facilitates our understanding of its internal functioning and allows us to discover underlying patterns in data. We demonstrate the power of RMN on language modeling and sentence completion tasks. On language modeling, RMN outperforms Long Short-Term Memory (LSTM) network on three large German, Italian, and English dataset. Additionally we perform in-depth analysis of various linguistic dimensions that RMN captures. On Sentence Completion Challenge, for which it is essential to capture sentence coherence, our RMN obtains 69.2% accuracy, surpassing the previous state-of-the-art by a large margin.

研究の動機と目的

• 標準的なRNN、特にLSTMの解釈可能性の欠如、特に言語的依存関係をどのように捉えているかについての課題を解決すること。
• メモリブロック部品を介して、関連する過去の単語に選択的に注目できるようにすることで、言語モデリングの性能を向上させること。
• モデルが捉える言語的次元、特に文法構造および依存関係構造を分析すること。ただし、文法的監視は行わない。
• 言語モデリングを越えて、一貫性と長距離依存関係が重要な文の完成など、タスクへのRMNアーキテクチャの拡張を試みること。
• メモリブロックが、標準的なLSTMと比較して、より高い性能とより深い解釈可能性を実現できることを示すこと。

提案手法

• RMNアーキテクチャは、標準的なLSTMと、最近の入力単語に注目し、次単語予測に適したものを選択するメモリブロック（MB）を組み合わせたものである。
• MBは、現在のLSTM隠れ状態と目的の単語に対する関連性に基づいて、履歴単語の間で注目分布を計算する。
• ゲートメカニズムを用いてメモリ内容を更新することで、長期間にわたって関連情報を保存・取得できる。
• RMNは、ドロップアウトを各LSTM層の後に適用することで正則化しながら、エンドツーエンドでクロスエントロピー損失を用いて学習する。
• 2つの変種を検討した：単方向-RM（過去の文脈のみを使用）と双方向-RM（過去および未来の文脈を併用）。その結果、単方向-RMが優れた性能を示した。
• MBからの注目重みを用いて、モデルの挙動を解釈し、長距離共起や文法的パターンといった言語的依存関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張RNNアーキテクチャは、標準的なLSTMを上回る言語モデリング性能を達成できるか？
• RQ2 RMNは、文法的監視を明示的に行わずに、文法的および依存関係構造をどの程度暗黙的に学習できるか？
• RQ3 メモリブロック内の注目メカニズムは、テキストにおける長距離依存関係をどのように捉えているか？
• RQ4 過去の単語に明示的に注目できる能力は、NLPタスクにおけるモデル意思決定の解釈可能性を向上させるか？
• RQ5 RMNは、一貫性が求められる文レベルのタスク、たとえば文の完成に一般化できるか？

主な発見

• RMNは文の完成チャレンジで69.2%の正確性を達成し、前回の最先端の58.9%を著しく上回った。
• ドイツ語、イタリア語、英語の3つの大規模言語モデリングデータセットにおいて、RMNはLSTMベースラインをパープレクサリティの観点から上回り、優れたモデリング能力を示した。
• 単方向-RMバージョンが双方向-RMを上回った。これは、このアーキテクチャにおいて、すでに処理された文脈への注目が、未来の単語を組み込むよりも信頼性が高いことを示唆している。
• 文法的特徴を明示的に使用せずに、長距離共起や単語予測に不可欠な依存タイプを暗黙的に捉えられていた。
• メモリブロック内の注目メカニズムにより、文法的依存関係や意味的一致性といった言語的パターンの解釈可能な分析が可能になった。
• RMNの性能向上は、関連する歴史的単語に選択的に注目できる能力に起因し、正確性と解釈可能性の両方を向上させた。