[論文レビュー] A Generative Approach to Question Answering

Rajarshee Mitra|arXiv (Cornell University)|Nov 16, 2017

Topic Modeling参考文献 7被引用数 3

ひとこと要約

本稿では、sequence-to-sequenceフレームワークを拡張したポインタジェネレータネットワークとカバレッジ機構を備えた生成型質問応答モデルを提案する。このモデルは、質問-本文ペアから要約的（abstractive）な回答を直接生成し、本文からのキーエンティティのコピーと注目位置の追跡により繰り返しを低減する。MS-MARCOで最先端のROUGE-Lスコアを達成し、抽出型およびベースライン生成型モデルを上回りながら、回答の読みやすさと正確性を向上させる。

ABSTRACT

Question Answering has come a long way from answer sentence selection, relational QA to reading and comprehension. We shift our attention to generative question answering (gQA) by which we facilitate machine to read passages and answer questions by learning to generate the answers. We frame the problem as a generative task where the encoder being a network that models the relationship between question and passage and encoding them to a vector thus facilitating the decoder to directly form an abstraction of the answer. Not being able to retain facts and making repetitions are common mistakes that affect the overall legibility of answers. To counter these issues, we employ copying mechanism and maintenance of coverage vector in our model respectively. Our results on MS-MARCO demonstrate it's superiority over baselines and we also show qualitative examples where we improved in terms of correctness and readability

研究の動機と目的

• 抽出型ラベルやスパンアノテーションに依存せずに、要約的（abstractive）な回答を生成する生成型質問応答モデルを開発すること。
• 事実の不正確さと繰り返しを解消するため、コピーメカニズムとカバレッジベクトルを組み込むことで、生成された回答における課題に対処すること。
• 入力データに応じて、要約的生成と抽出的生成の間で動的に切り替えられるようにモデルを設計し、外部抽出モジュールへの依存を排除すること。
• 注目カバレッジを維持して冗長な語の生成を低減することで、回答の読みやすさと正確性を向上させること。

提案手法

• 質問と本文の両方をコンテキスト表現に変換するため、重みを共有する双方向GRUエンコーダーを用いる。
• スケーリングされた乗法的アテンションを適用して、質問と本文の表現間のアライメントを計算し、クエリに適応したエンコーディングを可能にする。
• 生成確率 $ p_{\text{gen}} $ を計算するポインタジェネレータネットワークを導入し、語彙からの生成か本文からのコピーモードかを決定することで、事実の整合性を向上させる。
• アテンション分布の累積和としてカバレッジベクトルを維持し、同じエンコーダーステートに過剰に注目することをペナルティ化することで、繰り返しを低減する。
• デコーダーは各タイムステップでエンコーダーステートに注目し、注目カバレッジを考慮した項をアテンション機構に追加することで多様性を誘導する。
• 固定されたGloVe埋め込みとAdadelta最適化を用いて、ネガティブ・ログリッキー・ロスを用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 抽出型スパンアノテーションや外部ラベルが不要なsequence-to-sequenceモデルは、高品質な要約的（abstractive）な回答を生成できるか？
• RQ2 ポインタジェネレータ機構は、事実のエンティティを保持しながら回答を生成するのにどの程度有効か？
• RQ3 標準的なseq2seqモデルと比較して、カバレッジ機構は生成された回答における繰り返しをどの程度低減できるか？
• RQ4 カバレッジとコピーメカニズムの統合は、ROUGE-Lスコアと人間による読みやすさ評価の両方を向上させるか？
• RQ5 モデルの内部的決定（コピーより生成）は、異なる質問タイプに応じてどのように変化するか？

主な発見

• 提案モデルはMS-MARCO開発データでROUGE-Lスコア74/59.5を達成し、ベースラインseq2seqモデル（37.70 ROUGE-L）を顕著に上回った。
• ポインタジェネレータとカバレッジ機構を併用したモデルは、パープレキシティ4.35/4.62を達成し、学習安定性と生成品質の両面で優れた性能を示した。
• 平均 $ p_{\text{gen}} $ 値が0.7であることは、モデルが主に本文からコピーモードを採用していることを示しており、MS-MARCOデータセットの抽出的性質を反映している。
• 定性的分析の結果、モデルは核心的な情報を保持し、繰り返しを低減することで、ベースラインと比較して回答の読みやすさが向上した。
• カバレッジ機構は、生成された回答における冗長性が低下していることから、繰り返しの生成を効果的に抑制していることが裏付けられた。
• 自己アテンションは性能向上に寄与しなかったため、デコーダーのアテンション機構が十分に長距離依存関係を捉えられていたと考えられる。