[論文レビュー] Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data

Moonsu Han, Minki Kang+2 more|arXiv (Cornell University)|Mar 14, 2019

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、将来の質問応答精度を最大化するために、ストリーミングテキストまたは動画データからメモリエントリを選択的に保存・置き換えるエンドツーエンドの強化学習モデルであるエピソード的メモリリーダー（EMR）を提案する。相対的な重要度を学習し、強化学習で訓練されたポリシー・ネットワークを用いることで、TriviaQAおよびTVQAの両ベンチマークで、ルールベースおよびベースライン強化学習手法を著しく上回り、長期間の文脈情報とメモリ制限があるQAシナリオにおいて優れた性能を示す。

ABSTRACT

We consider a novel question answering (QA) task where the machine needs to read from large streaming data (long documents or videos) without knowing when the questions will be given, which is difficult to solve with existing QA methods due to their lack of scalability. To tackle this problem, we propose a novel end-to-end deep network model for reading comprehension, which we refer to as Episodic Memory Reader (EMR) that sequentially reads the input contexts into an external memory, while replacing memories that are less important for answering \emph{unseen} questions. Specifically, we train an RL agent to replace a memory entry when the memory is full, in order to maximize its QA accuracy at a future timepoint, while encoding the external memory using either the GRU or the Transformer architecture to learn representations that considers relative importance between the memory entries. We validate our model on a synthetic dataset (bAbI) as well as real-world large-scale textual QA (TriviaQA) and video QA (TVQA) datasets, on which it achieves significant improvements over rule-based memory scheduling policies or an RL-based baseline that independently learns the query-specific importance of each memory.

研究の動機と目的

• 処理後に質問が到着する状況で、文脈がメモリ容量を超えるストリーミングデータからの質問応答の課題に対処すること。
• すべての文脈をメモリに格納する必要がある既存のQAモデルの限界を克服し、長期的かつ逐次的な入力を処理できるようにすること。
• 将来のQAタスクに最も有益な文脈を優先して保持するメモリ拡張ネットワークを開発すること。
• 相対的な重要度に基づいて、メモリエントリの置き換えを最適化する強化学習エージェントを訓練し、将来のQA精度を最大化すること。
• メモリ制限下で、実世界の大規模なテキストおよび動画QAデータセットに対してモデルを検証すること。

提案手法

• ストリーミング入力（テキストまたは動画フレーム）の符号化表現を、順序的に外部のエピソード的メモリに格納する。
• GRUまたはTransformerアーキテクチャを用いてメモリエントリを符号化し、それらの間の相対的重要度をモデル化する。
• メモリが満杯になった際に、どのメモリエントリを置き換えるかを決定する強化学習エージェントを訓練する。その目的は、将来のQA精度を最大化することである。
• クエリ関連性と文間重要度の両方を考慮した方策ネットワークと価値ネットワークを用いて、メモリスケジューリングを逐次的意思決定問題として定式化する。
• TVQAでは、動画フレームの冗長性が高いため、価値関数推定が不安定になるため、REINFORCEを用いて訓練する。
• QAヘッド（例：動画QA用のマルチストリームモデル）とメモリモジュールを統合し、メモリ選択と回答予測を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 将来の質問を事前に知らずに、ストリーミングデータから最も情報を含む文脈を保持できるメモリ拡張ネットワークは、学習可能か？
• RQ2 エントリ間の相対的重要度をモデル化することで、クエリ固有または独立した重要度推定と比較して、QA性能はどの程度向上するか？
• RQ3 推論時に訓練時に見なかったメモリサイズ（特に長期間の文脈シナリオにおいて）に、EMRモデルはどの程度一般化できるか？
• RQ4 RNNと比較して、メモリエントリ間の長距離依存関係を捉えるために、メモリ符号化にTransformerを用いることで性能は向上するか？
• RQ5 実世界のQAタスクにおいて、強化学習に基づくメモリスケジューリングポリシーは、ルールベースやベースライン強化学習手法と比較してどの程度効果的か？

主な発見

• EMRは、相対的重要度をモデル化しない強化学習ベースラインおよびルールベースのメモリスケジューリングポリシーを、TriviaQAおよびTVQAの両方で著しく上回る。
• TVQAでは、EMR-Transformerが最も高い精度を達成し、特にメモリサイズが小さい場合に顕著である。これは、エントリ間のグローバルな相対的重要度をモデル化できる点に起因する。
• EMRのバリエーションとベースラインとの性能差は、特にメモリサイズが小さい場合に顕著であり、選択的記憶の有効性を示している。
• 訓練時に見なかったメモリサイズ（最大60まで）のテストでも、EMRは高い性能を維持しており、良好な一般化性能を示している。
• 定性的分析により、EMRは将来の質問を知らないにもかかわらず、重要な行動や会話のフレーズを含む、意味的に重要なフレームや字幕を保持していることが確認された。
• TVQAにおけるREINFORCEの使用は、冗長な動画フレームに対処する上で効果的であり、価値ベース手法が報酬信号の安定性に欠けるため失敗する状況でも有効であることが示された。