[論文レビュー] Finding Generalizable Evidence by Learning to Convince Q&A Models

Ethan Perez, Siddharth Karamcheti+4 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 37被引用数 5

ひとこと要約

本稿では、事前学習済みの質問応答（QA）モデルが特定の答えを最も納得させるような文章を、証拠エージェントが学習して選択する手法を提案する。これにより、一般化可能で高品質な証拠が得られる。本手法は、人間とモデルの両方のパフォーマンスを向上させ、元の文章の約20％の長さで正確なQAを実現し、さまざまなモデルやタスクにわたる強力な一般化性能を示す。

ABSTRACT

We propose a system that finds the strongest supporting evidence for a given answer to a question, using passage-based question-answering (QA) as a testbed. We train evidence agents to select the passage sentences that most convince a pretrained QA model of a given answer, if the QA model received those sentences instead of the full passage. Rather than finding evidence that convinces one model alone, we find that agents select evidence that generalizes; agent-chosen evidence increases the plausibility of the supported answer, as judged by other QA models and humans. Given its general nature, this approach improves QA in a robust manner: using agent-selected evidence (i) humans can correctly answer questions with only ~20% of the full passage and (ii) QA models can generalize to longer passages and harder questions.

研究の動機と目的

• 与えられた答えに対して、文章ベースのQAにおいて最も説得力があり、一般化可能な証拠を自動で特定する手法を開発すること。
• あるQAモデルを納得させるように選ばれた証拠が、他のモデルや人間の判断に対しても一般化するかどうかを調査すること。
• 完全な文章ではなくエージェントが選択した証拠を用いることで、QAの効率性と一般化性能を向上させること。
• エージェントが選択した証拠が、人間の質問応答を支援し、モデルの一般化性能を向上させる有効性を評価すること。

提案手法

• 証拠エージェントは、特定の答えに対するジャッジQAモデルの予測確率を最大にする文章を選択するように学習する。
• 各エージェントは逐次的意思決定フレームワークに従い、割り当てられた答えに対するジャッジの信頼度を最も高める文章を貪欲に追加する。
• エージェントは、自由競争またはラウンドロビンの設定で競争し、互いの選択を条件として考慮することで、共同で証拠プールを形成する。
• 本手法では、ヒューリスティック検索（例：TF-IDF、fastText）と学習されたニューラル検索（例：BERT-base、BERT-large）の両方を用いて証拠を同定する。
• エージェントは、答えの確率または証拠追加時の確率の変化を予測するように学習され、エンド・トゥ・エンド最適化が可能になる。
• 一般化性能は、完全な文章ではなくエージェントが選択した証拠のみを提供した場合の人間およびモデルのパフォーマンスを測定することで評価する。

実験結果

リサーチクエスチョン

• RQ1 あるQAモデルを納得させるように選ばれた証拠が、他のモデルや人間の評価者に対しても一般化可能か。
• RQ2 証拠エージェントが選択した文章のわずかなサブセットのみを用いた場合、人間の質問応答の正確性はどの程度維持できるか。
• RQ3 エージェントが選択した証拠を用いることで、長文やより難しい、分布外の質問に対してQAモデルの一般化性能が向上するか。
• RQ4 異なる証拠選択戦略（例：BERT対TF-IDF）は、正しい答えを支持するのと誤った答えを抑制するのとで、どのように比較されるか。

主な発見

• 人間は、証拠エージェントが選択した文章の約20％を用いて、RACEの73.2％、DREAMの83.8％の質問に正しく回答でき、完全な文章を使用した場合の90％の精度を維持する。
• エージェントが選択した証拠を用いることで、短い文章で学習したQAモデルは、より長い文章への一般化がより正確に実現される。
• 最も説得力のある証拠のみを用いることで、中学校レベルの読解理解のQAモデルは、高校入試問題への一般化性能が向上する。
• BERT-base検索エージェントは、正しい答えを支持する能力（82.5％対79.4％）でBERT-largeを上回り、誤った答えを支持する確率も低い（34.6％対38.7％）。
• ベースライン手法と比較して、エージェントが選択した証拠は人間のQA精度を向上させる：BERT-baseエージェント選択ではDREAMで83.8％の精度を達成し、fastText（79.1％）やTF-IDF（69.2％）を上回る。
• エージェントが選択した証拠は、複数のQAモデルおよび人間評価者において、支持される答えの妥当性を高め、元のジャッジモデルを超えた一般化可能性を示している。