[論文レビュー] Multi-span Style Extraction for Generative Reading Comprehension

Junjie Yang, Zhuosheng Zhang+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 45被引用数 5

ひとこと要約

本稿では、生成的機械読解の性能を向上させるために、マルチスパン抽出と軽量な回答生成器を組み合わせたマルチスパンスタイル抽出フレームワークMUSSTを提案する。単一スパン手法と比較して、不完全または冗長な回答が顕著に減少し、MS MARCO v2.1では最先端の性能に近い結果を達成する。

ABSTRACT

Generative machine reading comprehension (MRC) requires a model to generate well-formed answers. For this type of MRC, answer generation method is crucial to the model performance. However, generative models, which are supposed to be the right model for the task, in generally perform poorly. At the same time, single-span extraction models have been proven effective for extractive MRC, where the answer is constrained to a single span in the passage. Nevertheless, they generally suffer from generating incomplete answers or introducing redundant words when applied to the generative MRC. Thus, we extend the single-span extraction method to multi-span, proposing a new framework which enables generative MRC to be smoothly solved as multi-span extraction. Thorough experiments demonstrate that this novel approach can alleviate the dilemma between generative models and single-span models and produce answers with better-formed syntax and semantics.

研究の動機と目的

• 生成的MRCにおける単一スパン抽出モデルの限界を解決すること。これらはしばしば不完全または冗長な回答を生成する。
• 抽出的単一スパンモデルと生成的seq2seqモデルの間の性能格差を、生成的回答生成の文脈で埋める。
• 質問と本文の両方から複数のスパンを活用して、文法的・意味的に整合性のある回答を合成するフレームワークを開発すること。
• トレーニング中に本文ランクイングのための動的サンプリングを導入することで、トレーニングの効率と関連性を向上させること。
• エンドツーエンドの複雑なトレーニングを必要とせず、抽出的マルチスパン選択と軽量な生成器を組み合わせたハイブリッドアプローチが強力な性能を達成できることを示すこと。

提案手法

• 良好に構成された回答を、質問と本文に分散されたスパンのシーケンスに変換するマルチスパン回答アノテーターを提案する。
• 推論時に可変数のスパンを抽出できるように設計された軽量な回答生成器を設計する。これにより、回答の柔軟な構成が可能になる。
• 質問-本文ペアの文脈的表現を生成するため、事前学習済みBERTベースのエンコーダーを用いる。これにより、入力間の相互作用を捉える。
• ReLUとソフトマックスを用いた2層のフィードフォワードネットワークを用いて、候補となる本文の関連性スコアを予測する本文ランカーを実装する。
• トレーニング中に動的サンプリングを導入し、回答を含む可能性の高い本文を選択することで、モデルが関連する文脈に集中するようにする。
• スパン予測と本文選択の両方を、クロスエントロピー損失を用いてエンドツーエンドにトレーニングする。これにより、回答生成と本文選択を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 生成的MRCにおいて、単一スパン抽出と比較して、マルチスパン抽出は回答の文法的・意味的品質を向上させることができるか？
• RQ2 MS MARCO v2.1データセットにおいて、提案されたMUSSTフレームワークは、強力な単一スパンおよびseq2seqベースラインと比較してどの程度の性能を示すか？
• RQ3 完全なseq2seq生成と比較して、軽量な抽出的スタイルの生成器は、回答品質とトレーニング効率の面でどれほど優れているか？
• RQ4 トレーニング中に動的サンプリングを導入することで、選択された本文の関連性が向上し、結果として回答生成の性能が向上するか？
• RQ5 抽出的スパン選択と生成器を組み合わせたハイブリッドアプローチは、複雑なエンドツーエンドトレーニングを必要とせず、最先端の性能に近い結果を達成できるか？

主な発見

• MUSSTは、MS MARCO v2.1データセットにおいて、単一スパン抽出ベースラインを顕著に上回り、不完全または冗長な回答が著しく減少した。
• 複雑なエンドツーエンドトレーニングを必要とせず、単体の本文ランカーと軽量な生成器のみを用いても、最先端の性能に近い結果を達成した。
• トレーニング中に動的サンプリングを導入することで、選択された本文の関連性が向上し、結果として回答生成の品質が向上した。
• マルチスパンスタイル抽出フレームワークにより、質問と本文の両方から関連するスパンを組み合わせることで、より正確で滑らかな回答生成が可能になった。
• アブレーションスタディの結果、マルチスパンアノテーターと軽量な生成器の両方が、最終的な性能向上に有意義に寄与していることが確認された。
• フレームワークは優れた一般化性能を示し、抽出的スタイルの手法が、最小限のアーキテクチャ変更で生成的MRCに効果的に拡張可能であることが示された。