[論文レビュー] Memory Networks

Jason Weston, Sumit Chopra+1 more|arXiv (Cornell University)|Oct 15, 2014

Advanced Memory and Neural Computing被引用数 16

ひとこと要約

この論文では、質問応答における推論を向上させるために、学習可能な動的長期記憶を組み合わせたニューラル推論を備えたメモリネットワークというモデルのクラスを紹介している。このアプローチにより、マルチホップ推論が効果的に行え、未知語への一般化が可能となり、大規模および複雑なシミュレートされたQAタスクにおいてRNNやLSTMを上回る性能を発揮する。

ABSTRACT

We describe a new class of learning models called memory networks. Memory networks reason with inference components combined with a long-term memory component; they learn how to use these jointly. The long-term memory can be read and written to, with the goal of using it for prediction. We investigate these models in the context of question answering (QA) where the long-term memory effectively acts as a (dynamic) knowledge base, and the output is a textual response. We evaluate them on a large-scale QA task, and a smaller, but more complex, toy task generated from a simulated world. In the latter, we show the reasoning power of such models by chaining multiple supporting sentences to answer questions that require understanding the intension of verbs.

研究の動機と目的

• 標準的なRNNや系列モデルが長期的な事実情報を保持・推論する能力に制限を受ける問題に対処する。
• 読み取りと書き込みが可能な動的で学習可能な長期記憶コンponentをサポートするモデルアーキテクチャを開発する。
• 特に動詞の意味的解釈および時間的・因果的関係を理解する必要があるタスクにおいて、複数の支援的事実に基づく推論を可能にする。
• 学習された言語パターンを用いて、ゼロショットまたはフェイントショットの設定で以前に見なかった語彙に一般化することを実現する。
• シミュレートされた世界の学習と現実世界の知識ベースの統合を検討し、モデルの頑健性と推論能力を向上させる。

提案手法

• 入力特徴マップ（I）、一般化（G）、出力特徴マップ（O）、応答（R）の4つのコンponentからなるメモリネットワークフレームワークを定義し、モジュラーな学習と記憶との相互作用を可能にする。
• I、G、O、Rをニューラルネットワークとして実装した特定のニューラルインスタンス、MemNNを実装し、Gが新しい入力に基づいて記憶スロットを更新する。
• Oが入力ベクトルと記憶ベクトル間の関連度スコアを計算し、推論に最も関連性の高い記憶に注目するメモリ参照メカニズムを採用する。
• 勾配降下法を用いて応答の正確性を最適化するように、質問-回答ペairを用いた教師あり学習により、モデルをエンドツーエンドで訓練する。
• 実際のQAデータへのファインチューニングの前に、シミュレートされたデータ上で教師なし事前学習を実施し、言語パターン（例：(X, dropped, Y)）を学習する。
• 合成ストーリーにマスキングされた語彙を用いた学習中に、動詞に基づく関係パターンを学習することで、未知語に対するゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な動的記憶コンponentを備えたニューラルモデルは、複雑な質問応答タスクにおいて、標準的なRNNやLSTMを上回ることができるか？
• RQ2 動詞や文構造からの関係パターンを学習することで、メモリネットワークはどれほど以前に見たことのない語に一般化できるか？
• RQ3 メモリネットワークは、複数の支援的事実を連結して、マルチホップ推論と動詞の意味的解釈を必要とする質問に答えることができるか？
• RQ4 シミュレートされた世界のトレーニングと現実世界のQAデータの組み合わせは、モデルの一般化能力と推論能力を向上させるのにどれほど効果的か？
• RQ5 明示的な支援的事実の監視がなく、質問-回答ペアのみが利用可能な弱教師あり設定でも、メモリネットワークは効果的に訓練可能か？

主な発見

• MemNNは、大規模QAタスクおよび複雑なシミュレートされたQAタスクの両方でRNNやLSTMを上回り、優れた推論能力と記憶能力を示した。
• モデルは、複数の支援的文を連結することでマルチホップ推論を実行し、たとえば一連の出来事の流れに沿って物体の位置を追跡する質問に正しく答えることができた。
• 動詞の形（例：(X, took, Y) や (X, journeyed to, Y)）から得られる関係パターンを学習することで、以前に見たことのない語彙（例：Bilbo, Frodo, Gollum）に対しても一般化できた。
• 未知語のモデリングアプローチを採用しなかった場合、モデルは語彙外の語に対して完全に失敗しており、パターンベースの一般化の重要性が浮き彫りになった。
• シミュレートされたデータと現実世界のQAデータで訓練されたMemNNのアンサンブルは、一般知識とストーリー固有の質問の両方に対応する混合対話が可能になった。
• モデルは、一連の行動のシーケンスに基づいてミルクの位置を正しく特定するなど、複雑な対話において一貫性があり文脈に適切な応答を生成した。