[論文レビュー] Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives

Yi Tay, Shuohang Wang+7 more|arXiv (Cornell University)|May 26, 2019

Topic Modeling参考文献 35被引用数 16

ひとこと要約

本稿では、長編ナラティブにおける読解のための、カリキュラム学習に基づくポインタジェネレーターネットワークに、内省的アライメント層（IAL）を組み合わせた手法を提案する。物語の多様で段階的に難易度が上がる視点（回答可能性と文書長さの違いを含む）で訓練することで、モデルのロバスト性と一般化性能が向上し、NarrativeQAで最先端の結果を達成した。BLEU-4で前人最高の51%の相対的向上、Rouge-Lで17%の相対的向上を達成した。

ABSTRACT

This paper tackles the problem of reading comprehension over long narratives where documents easily span over thousands of tokens. We propose a curriculum learning (CL) based Pointer-Generator framework for reading/sampling over large documents, enabling diverse training of the neural model based on the notion of alternating contextual difficulty. This can be interpreted as a form of domain randomization and/or generative pretraining during training. To this end, the usage of the Pointer-Generator softens the requirement of having the answer within the context, enabling us to construct diverse training samples for learning. Additionally, we propose a new Introspective Alignment Layer (IAL), which reasons over decomposed alignments using block-based self-attention. We evaluate our proposed method on the NarrativeQA reading comprehension benchmark, achieving state-of-the-art performance, improving existing baselines by $51\%$ relative improvement on BLEU-4 and $17\%$ relative improvement on Rouge-L. Extensive ablations confirm the effectiveness of our proposed IAL and CL components.

研究の動機と目的

• 長編ナラティブにおける読解の課題に取り組むこと。文書は数千トークンにわたり、単純なスパン予測をはるかに超える複雑な推論を要する。
• 訓練中に多様なリtrieval状況をシミュレートすることで、オープンドメインQAにおけるモデルのロバスト性を向上させ、実世界の推論条件を模倣する。
• 答えが文脈に明示的に存在する必要があるという標準ポインタネットワークの制限を克服するため、ジェネレータコンponentを組み込む。
• 質問と文脈間のアライメントモデリングを向上させるために、分解されたアテンションマップを段階的に推論するブロックベースの自己注意メカニズムを新たに導入する。

提案手法

• モデルは2つの難易度次元を用いたカリキュラム学習スキームを採用している：(1)答えが文脈内に存在するかどうか（回答可能性）、(2)抽出された文書のサイズ（一貫性と理解可能性）。
• ポインタジェネレーターアーキテクチャを採用し、文脈からのトークンコピーまたは新しい単語の生成を学習することで、答えが文脈に正確に存在する必要を緩和する。
• 内省的アライメント層（IAL）は、分解されたアテンション表現にブロックベースの局所的自己注意を適用し、質問と文脈の間でより細分化され、局所的な注意に配慮したマッチングを可能にする。
• 訓練プロセスでは、これらの難易度ヒューリスティクスに基づいて、簡単なサンプルと難しいサンプルを交互に使用し、段階的学習を促進し、一般化性能を向上させる。
• フレームワークは、交差エントロピー損失を生成された答えに対して最適化することで、NarrativeQAベンチマーク上でエンドツーエンドに訓練される。
• モデルはBLEU-4やRouge-Lといった標準指標を用いて評価され、アブレーションスタディによりカリキュラム学習とIALの貢献が確認されている。

実験結果

リサーチクエスチョン

• RQ1 回答可能性と文書長さに基づくカリキュラム学習が、長編読解におけるモデルの一般化性能を向上させるか？
• RQ2 カリキュラム学習スキームを用いたポインタジェネレーターアーキテクチャは、長編ナラティブQAにおいて、標準的なスパン予測モデルを上回るか？
• RQ3 内省的アライメント層（IAL）は、長文脈設定において、vanilla自己注意と比較して、アテンションベースの推論をどの程度向上させるか？
• RQ4 リtrieval増強QAにおける訓練と推論の間の分布シフトを、訓練時の多様なデータサンプリングによってどの程度軽減できるか？
• RQ5 カリキュラム学習と生成機能を備えたモデルは、答えが文脈に明示的に存在しないケースにも一般化できるか？

主な発見

• 提案されたIAL-CPGモデルは、NarrativeQAベンチマークで最先端の性能を達成し、前人最高のモデル比でBLEU-4で51%の相対的向上を達成した。
• Rouge-Lでは17%の相対的向上を達成し、長編ナラティブにおける生成品質の優位性を示した。
• アブレーションスタディにより、カリキュラム学習スキームと内省的アライメント層の両方が、性能向上に顕著な貢献をしていることが確認された。
• 強力なスパン予測モデルであるBiDAFよりも、BLEU-4スコアで10倍の向上を達成し、生成的手法が抽出的手法を上回る利点を示した。
• NarrativeQAの評価スキームに欠陥が存在することが判明した。語彙の不一致により、意味的に正しい答えでも0点が与えられる場合がある。
• 強化学習は、この設定で答えの品質を向上させるのに効果的でなかった。ネガティブな結果が報告された。