[論文レビュー] Efficient and Robust Question Answering from Minimal Context over Documents

Sewon Min, Victor W. Zhong+2 more|ArXiv.org|May 21, 2018

Topic Modeling参考文献 32被引用数 28

ひとこと要約

本論文では、文書から最も関連性の高い文のみを選択する軽量な文選択器を用いて、最小限の文脈で質問に答えるQAシステムを提案する。この手法により、SQuAD、NewsQA、TriviaQA、SQuAD-Open、SQuAD-Adversarialの各データセットで精度を維持または向上させながら、トレーニング時間と推論時間がそれぞれ最大15倍、13倍短縮された。また、パイプラインの初期段階で誤解を招く文をフィルタリングすることで、悪意ある入力に対する耐性が向上する。

ABSTRACT

Neural models for question answering (QA) over documents have achieved significant performance improvements. Although effective, these models do not scale to large corpora due to their complex modeling of interactions between the document and the question. Moreover, recent work has shown that such models are sensitive to adversarial inputs. In this paper, we study the minimal context required to answer the question, and find that most questions in existing datasets can be answered with a small set of sentences. Inspired by this observation, we propose a simple sentence selector to select the minimal set of sentences to feed into the QA model. Our overall system achieves significant reductions in training (up to 15 times) and inference times (up to 13 times), with accuracy comparable to or better than the state-of-the-art on SQuAD, NewsQA, TriviaQA and SQuAD-Open. Furthermore, our experimental results and analyses show that our approach is more robust to adversarial inputs.

研究の動機と目的

• ドキュメントベースQAにおける質問に回答するために必要な最小限の文脈（文の数）を特定し、多くの質問が数文で回答可能であることを明らかにすること。
• 全ドキュメントを処理するのではなく、各質問に対して最も関連性の高い文のみを選択することで、計算コストを低減するスケーラブルなQAシステムを開発すること。
• QAモデルに到達する前に誤解を招く文や悪意ある文をフィルタリングすることで、悪意ある入力に対する耐性を向上させること。
• エンドツーエンドの再トレーニングを必要とせず、既存のQAモデルと統合可能な柔軟なフレームワークを構築すること。

提案手法

• 各質問に必要な最小限の文の集合を特定する文選択器を設計し、固定ウィンドウではなく、質問ごとに異なる数の文を選択する動的なアプローチを採用する。
• 選択の信頼性を向上させるために、事前学習モデルからの重み転送、文マスキングを用いたデータ拡張、スコア正規化の3つの鍵となる技術を用いる。
• 標準的なQAモデルの前処理ステップとして動作させることで、DCN+のような既存のアーキテクチャとも互換性を持たせ、エンドツーエンドの微調整を不要にする。
• 文選択器が関連性の高い文のみをQAモデルに供給するパイプラインを評価し、文脈長と計算負荷を低減する。
• ドキュメント長が異なる5つのデータセット、ならびに悪意あるバージョンを含む評価により、効率性と耐性の両面を検証する。
• 正解スパンからの教師信号と対照学習を組み合わせて、正解を含む文を優先的に選択するように文選択器をトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 既存のQAデータセットにおいて、質問に答えるために必要な最小限の文脈（文の数）はどの程度か？
• RQ2 動的かつ可変長の文集合を選択する軽量な文選択器は、精度を損なわずにQAの効率を向上させることができるか？
• RQ3 文脈長を短縮することで、モデルの悪意ある入力に対する耐性はどのように変化するか？
• RQ4 モジュラーな文選択コンponentを既存のQAモデルと効果的に組み合わせることで、トレーニングおよび推論速度の向上が達成できるか？
• RQ5 不要または悪意ある文をフィルタリングすることで、抽出型QAにおける予測の信頼性は向上するか？

主な発見

• SQuADでは、回答可能な質問の92％が1つの文のみで回答可能であり、多くの質問が最小限の文脈で回答可能であることが示された。
• 提案手法は、SQuADやTriviaQAを含む複数のデータセットで、トレーニング時間に最大15倍、推論時間に最大13倍の短縮効果を達成した。
• SQuAD-Adversarialでは、AddSentおよびAddOneSentタスクにおいて、全ドキュメントベースラインよりそれぞれ11.1点および11.5点のF1スコアで優れていることから、優れた耐性が示された。
• 文選択器は悪意ある文を効果的にフィルタリングし、文書に悪意ある文が存在してもQAモデルが正しい正解スパンに注目するようにした。
• SQuAD、NewsQA、TriviaQA、SQuAD-Open、SQuAD-Adversarialの各データセットで、最先端または競争力のある性能を達成し、既存のモデルと同等またはそれ以上の精度を実現した。
• 本手法はモジュラーであり、既存のQAモデルと互換性があり、再トレーニングやアーキテクチャの変更を伴わずに顕著な高速化を実現できる。