[論文レビュー] Mnemonic Reader: Machine Comprehension with Iterative Aligning and Multi-hop Answer Pointing

Minghao Hu, Yuxing Peng+1 more|arXiv (Cornell University)|May 8, 2017

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文では、再注意力メカニズムを用いて段階的に注意を精錬する、および動的・臨界的強化学習を用いて答え予測を向上させる、強化学習を組み込んだ記憶型読解モデルであるReinforced Mnemonic Readerを提案する。本モデルはSQuADおよび悪意のあるSQuADデータセットにおいて、それぞれExact MatchおよびF1スコアで6%以上の絶対的向上を達成し、最先端の性能を示した。

ABSTRACT

In this paper, we introduce the Reinforced Mnemonic Reader for machine reading comprehension tasks, which enhances previous attentive readers in two aspects. First, a reattention mechanism is proposed to refine current attentions by directly accessing to past attentions that are temporally memorized in a multi-round alignment architecture, so as to avoid the problems of attention redundancy and attention deficiency. Second, a new optimization approach, called dynamic-critical reinforcement learning, is introduced to extend the standard supervised method. It always encourages to predict a more acceptable answer so as to address the convergence suppression problem occurred in traditional reinforcement learning algorithms. Extensive experiments on the Stanford Question Answering Dataset (SQuAD) show that our model achieves state-of-the-art results. Meanwhile, our model outperforms previous systems by over 6% in terms of both Exact Match and F1 metrics on two adversarial SQuAD datasets.

研究の動機と目的

• 記憶拡張型で複数ラウンドのアライメント機構を用いることで、従来の注意型読解モデルにおける注意の重複と不足を解消すること。
• 従来の強化学習における収束抑制問題を克服するため、動的・臨界的最適化戦略を導入すること。
• 複雑でマルチホップな読解タスクにおける答え予測のロバスト性を向上させること。
• 標準的および悪意のあるSQuADベンチマークで最先端の性能を達成すること。

提案手法

• 過去の注意を時間的メモリモジュールに保存し、それを直接アクセスすることで、現在の注意を精錬する再注意力メカニズムを設計した。
• 複数ラウンドのアライメントアーキテクチャにより、複数の推論ステップにわたり注意分布を段階的に精錬可能とした。
• 臨界な予測誤差に注目することで、政策最適化をガイドする動的・臨界的強化学習を導入した。
• 教師あり学習と強化学習を統合し、より好ましい答えを強調する報酬形状に基づいて政策を更新する仕組みとした。
• 履歴の注意パターンを保持・再利用できる、記憶拡張型の再帰的構造を通じて注意メカニズムを更新した。
• 教師ありの監視と報酬信号を組み合わせた学習目的を採用し、正しいかつロバストな答えの特定を促進した。

実験結果

リサーチクエスチョン

• RQ1 段階的注意精錬は、読解モデルにおける冗長性と不足をどのように低減できるか？
• RQ2 動的・臨界的強化学習は、政策ベースの答え予測における収束性とロバスト性を向上させ得るか？
• RQ3 提案手法は、標準的および悪意のあるSQuADベンチマークで、従来手法をどの程度上回るか？
• RQ4 再注意力メカニズムは、複数の推論ステップにわたる長距離依存関係をどの程度効果的に捉えられるか？

主な発見

• 本モデルは標準的SQuADデータセットで最先端の性能を達成し、従来手法を上回った。
• 2つの悪意のあるSQuADデータセットにおいて、本モデルは従来システムと比較してExact MatchおよびF1スコアを6%以上向上させた。
• 動的・臨界的強化学習アプローチにより、機械的読解における標準的強化学習で一般的に見られる収束抑制問題が効果的に緩和された。
• 再注意力メカニズムは、注意分布の段階的精錬により、注意の冗長性と不足を効果的に低減した。
• 本モデルは悪意のある例に対して強いロバスト性を示し、標準ベンチマークをはるかに超える一般化能力を有していることが示唆された。
• 記憶拡張型注意と強化学習の統合により、マルチホップ推論タスクにおけるより正確で信頼性の高い答えの特定が可能になった。