[論文レビュー] Ruminating Reader: Reasoning with Gated Multi-Hop Attention

Yichen Gong, Samuel R. Bowman|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 27被引用数 14

ひとこと要約

Ruminating Reader は、二回のアテンションプロセスとその表現のゲーテッド統合を導入することで、機械読解を向上させ、SQuAD において F1 スコア 79.5 と EM 70.6 を達成し、当時発表済みのすべてのシステムを上回る性能を示した。

ABSTRACT

To answer the question in machine comprehension (MC) task, the models need to establish the interaction between the question and the context. To tackle the problem that the single-pass model cannot reflect on and correct its answer, we present Ruminating Reader. Ruminating Reader adds a second pass of attention and a novel information fusion component to the Bi-Directional Attention Flow model (BiDAF). We propose novel layer structures that construct an query-aware context vector representation and fuse encoding representation with intermediate representation on top of BiDAF model. We show that a multi-hop attention mechanism can be applied to a bi-directional attention structure. In experiments on SQuAD, we find that the Reader outperforms the BiDAF baseline by a substantial margin, and matches or surpasses the performance of all other published systems.

研究の動機と目的

• 単一パスモデルの限界、すなわち候補となる答えの見直しや吟味ができないことに対処する。
• モデルが文脈と質問を再訪問し、より深い推論を可能にすることで、答えの正確性を向上させ、人間の熟考的読解行動を模倣する。
• 最初のパスと第二のパスからの表現を統合するための新しいゲーティング機構を導入し、情報統合を強化する。
• 答えと質問の重複に起因する誤り率を低下させるために、答え–質問類似度損失を導入する。
• BiDAF のアーキテクチャ的拡張を通じて、SQuAD ベンチマークで最先端の性能を達成する。

提案手法

• BiDAF を拡張し、文脈と質問に対する二回目の双方向アテンションフローを導入することで、マルチホップ推論を可能にする。
• 学習可能なゲートを用いて、最初のパスのエンコーディング表現と第二のパスの中間表現を統合する「ruminate レイヤー」を導入する。
• LSTM レイヤーがタイムステップにわたって同じ入力を処理するゲーティング機構を採用し、情報の流れを制御する動的ゲート値を生成する。
• 質問と過剰に重複する予測をペナルティ化するため、新しい答え–質問類似度損失を適用する。
• 最初のアテンションホップでは質問のキーワードに注目し、第二のホップでは候補となる答えのスパンを特定する、クエリに適応した文脈表現を構築する。
• アテンション機構の前段階で、1次元畳み込みニューラルネットワーク（1D CNN）と最大プーリングを用いて、文字レベルの埋め込みから単語表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 二回のアテンションプロセスを導入することで、単一パスモデルに比べて答えの正確性が向上するか？
• RQ2 最初のパスと第二のパスからの表現のゲーティング統合は、推論能力の向上にどの程度効果的か？
• RQ3 第二の推論パスを導入することで、質問と答えの表面的重複に起因する誤りが減少するか？
• RQ4 BiDAF のアーキテクチャ的拡張により、SQuAD で最先端の性能を達成できるか？
• RQ5 異なる質問タイプや答えの長さは、熟考的推論機構の性能にどのように影響するか？

主な発見

• Ruminating Reader は、SQuAD の隠しテストセットで F1 スコア 79.5、正確一致（EM）スコア 70.6 を達成し、BiDAF よりも F1 2.2 ポints、EM 2.9 ポイント向上した。
• モデルはすべての答えの長さのカテゴリで BiDAF を上回り、特に長い答え（例：5語、8語、9語）で最大の向上が見られた。
• 「なぜ」質問—通常、長く非語彙的（non-lexical）な答えを要するため、最も困難とされるタイプ—では、BiDAF よりも顕著な性能向上が見られ、複雑な質問への推論能力の向上を示している。
• 開発セットでは 70.6% の成功率（完全な F1）を達成し、jNet の 69.1% を上回った一方、失敗ケースは 14.9% から 13.5% に減少した。
• 可視化の結果、ruminate レイヤーのゲート機構が主に元のエンコーディング表現を優先していることが確認され、初期表現の改善（置き換えではない）に貢献していることが裏付けられた。
• アブレーションスタディの結果、二段階アテンションとゲーティング統合の両方のコンponents が性能向上に顕著な寄与をしていることが確認された。