[論文レビュー] Finding ReMO (Related Memory Object): A Simple Neural Architecture for Text based Reasoning

Jihyung Moon, Hyochang Yang+1 more|arXiv (Cornell University)|Jan 25, 2018

Topic Modeling参考文献 11被引用数 8

ひとこと要約

本稿では、関係的推論を強化するため、メモリネットワークフレームワーク内で多層パーセプトロン（MLP）を用いて関連するメモリオブジェクト（ReMO）を特定する、新しいニューラルアーキテクチャ「関係記憶ネットワーク（RMN）」を提案する。従来のアテンションや内積メカニズムに代えてMLPベースの出力特徴マップを採用することで、RMNはbAbIストーリー基盤および対話基盤の質問応答タスクにおいて最先端の性能を達成し、特に大規模なメモリセットを伴うマルチホップ推論の場面で顕著な優位性を示す。

ABSTRACT

To solve the text-based question and answering task that requires relational reasoning, it is necessary to memorize a large amount of information and find out the question relevant information from the memory. Most approaches were based on external memory and four components proposed by Memory Network. The distinctive component among them was the way of finding the necessary information and it contributes to the performance. Recently, a simple but powerful neural network module for reasoning called Relation Network (RN) has been introduced. We analyzed RN from the view of Memory Network, and realized that its MLP component is able to reveal the complicate relation between question and object pair. Motivated from it, we introduce which uses MLP to find out relevant information on Memory Network architecture. It shows new state-of-the-art results in jointly trained bAbI-10k story-based question answering tasks and bAbI dialog-based question answering tasks.

研究の動機と目的

• メモリネットワークにおける関係的推論の向上により、テキストベースの質問応答を改善すること。
• 従来のモデルが大規模なメモリおよび複雑な関係を効率的に処理できないという限界を解消すること。
• 複数ホップにわたる文脈で関連する支援文（ReMO）を効果的に同定する手法を開発すること。
• bAbIデータセットにおける推論精度において、MemN2N、DMN+、RNなどの先行モデルを上回ること。
• MLPベースのメカニズムにより関連する文のペアに焦点を当てることで、高関係性の状況下でもデータ効率的な学習を可能にすること。

提案手法

• RMNは、メモリネットワークの出力特徴マップに多層パーセプトロン（MLP）を統合し、質問とメモリオブジェクトの間の複雑な関係をモデル化する。
• モデルは埋め込み層を用いて入力文および質問を密なベクトル表現に変換する。
• アテンションメカニズムを適用して、質問と各メモリオブジェクト間の関連度スコア（α）を計算し、選択的注目を可能にする。
• 一般化ステップでは、すでに使用済みの情報を消去することでメモリを更新し、マルチホップ推論を支援する。
• 推論部では、アテンションによって同定された最も関連性の高いメモリオブジェクトに基づいて、最終的な答えをMLPを用いて計算する。
• モデルは、質問-答えペアのクロスエントロピー損失を用いて、勾配降下法によりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 従来の内積やアテンションメカニズムと比較して、MLPベースの出力特徴マップは、メモリネットワークにおける関係的推論を向上させることができるか？
• RQ2 提案されたRMNモデルは、支援文の数が増加するマルチホップ推論タスクでどのように性能を発揮するか？
• RQ3 特に大規模なメモリ設定下で、無関係な文のペアの数が増えても、モデルは高い性能を維持できるか？
• RQ4 対話基盤の推論タスクにおいて、RMNは未知語（OOV）入力に対しても効果的に一般化できるか？
• RQ5 RMNのアテンションメカニズムは、無関係な関係をフィルタリングしながら、重要な支援事実を保持するのにどのように寄与するか？

主な発見

• RMNはbAbI-10kストーリー基盤の質問応答タスクにおいて最先端の性能を達成し、DMN+ や RN といった先行モデルを上回っている。
• bAbI対話基盤QAデータセットでは、1ホップのタスクおよびタスク1（1つの支援文）では0.0%の誤差率を達成しており、単純なケースで完璧な性能を示している。
• タスク2（2つの支援文）では0.5%の誤差率を達成しており、先行モデルと比較して顕著に低い水準にあり、マルチホップ推論における優れた性能を示している。
• タスク3（3つの支援文）では14.7%の誤差率を達成しており、ホップ数の増加に対しても強靭性を示している。
• アテンション重み（α）の可視化により、RMNが、レストランの詳細情報やユーザーの要請といった関連するメモリオブジェクトを、通常のケースおよびOOVテストケースの両方で正しく同定していることが確認された。
• OOV状況下でも高い正確性を維持しており、例えばタスク1（OOV）では未観測語が含まれるにもかかわらず正しくAPIコールを生成していることから、強力な一般化能力を示している。