[論文レビュー] Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval

Akari Asai, Eunsol Choi|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 34被引用数 8

ひとこと要約

この論文は、Natural Questions や TyDi QA における情報探索型質問応答（QA）の課題を調査し、パラグラフ検索と答えの可能性予測が、モデルのパフォーマンスにおける主なボトル neck であることを特定している。800件の多言語の答えのない例を対象とした制御実験と手動アノテーションを通じて、著者らは、ゴールドパラグラフと答えの可能性ラベルが与えられた場合、最先端のモデルが人間のアノテーターを上回ることを示したが、特にデータセット固有の特徴や言語的特徴に起因する未回答性の検出に苦労していることが明らかになった。これは、現実世界のQAシステムにおけるデータセット設計とモデル開発における重要なギャップを示している。

ABSTRACT

Recent pretrained language models "solved" many reading comprehension benchmarks, where questions are written with access to the evidence document. However, datasets containing information-seeking queries where evidence documents are provided after the queries are written independently remain challenging. We analyze why answering information-seeking queries is more challenging and where their prevalent unanswerabilities arise, on Natural Questions and TyDi QA. Our controlled experiments suggest two headrooms -- paragraph selection and answerability prediction, i.e. whether the paired evidence document contains the answer to the query or not. When provided with a gold paragraph and knowing when to abstain from answering, existing models easily outperform a human annotator. However, predicting answerability itself remains challenging. We manually annotate 800 unanswerable examples across six languages on what makes them challenging to answer. With this new data, we conduct per-category answerability prediction, revealing issues in the current dataset collection as well as task formulation. Together, our study points to avenues for future research in information-seeking question answering, both for dataset creation and model development.

研究の動機と目的

• Natural Questions や TyDi QA のような情報探索型QAデータセットにおける未回答性の根本的要因を特定すること。
• 現在の最先端モデルを超えるQAパフォーマンスの残余余地を、パラグラフ選択と答えの可能性予測に焦点を当てて定量化すること。
• スパン抽出を超えた要約的答え生成を検討することで、代替の知識ソースを分析し、答えのカバレッジを向上させること。
• さまざまな言語と質問カテゴリにわたる答えの可能性予測の有効性を評価し、データセット固有のおよび言語的バイアスを明らかにすること。
• 現実世界のQAシステムにおける今後の研究を支援するために、データセット作成とモデル開発における実行可能な改善策を特定すること。

提案手法

• Natural Questions および TyDi QA において、4種類の異なるQAモデルを用いた制御実験を行い、ゴールドスタンダードのパラグラフと答えの可能性ラベルを用いたパフォーマンスを比較した。
• 6言語（英語、ドイツ語、スペイン語、日本語、韓国語、ロシア語）にまたがる800件の未回答質問を、未回答性の原因の詳細な分類とともにアノテートした。
• 未回答質問を6つの明確なカテゴリ（例：曖昧さ、情報不足、事実誤認）に分類し、モデルの失敗モードを分析した。
• 未回答質問の代替の答えと知識ソースを収集し、答えのカバレッジの向上可能性を評価した。
• 各カテゴリごとの答えの可能性予測を実施し、さまざまなタイプの未回答性におけるモデルパフォーマンスを評価した。
• SQuAD 2.0 を含む複数のデータセットで、質問のみベースライン、最先端のQAモデル、人間の合意度を比較して、答えの可能性予測の有効性を評価した。

実験結果

リサーチクエスチョン

• RQ1 Natural Questions や TyDi QA のような情報探索型QAデータセットにおける未回答性の主な要因は何か？
• RQ2 QAモデルのパフォーマンスギャップの多くが、パラグラフ検索と答えの可能性予測のどちらに起因しているか？
• RQ3 ゴールドパラグラフと答えの可能性シグナルが与えられた場合、最先端のモデルは人間のアノテーターをどの程度上回るのか？
• RQ4 未回答性のパターンは言語やデータセットによってどのように異なるのか？また、モデルの失敗に寄与する言語的または構造的特徴は何か？
• RQ5 現実世界の情報探索型QAのための答えのカバレッジとモデルの頑健性を向上させるために、データ収集とタスク定式化でどのような改善が可能か？

主な発見

• ゴールドパラグラフと答えの可能性ラベルが与えられた場合、最先端のQAモデルは1人の人間アノテーターのF1スコアを上回る。これは、主な課題がパラグラフ選択と答えの可能性予測にあり、それらの分野に改善の余地があることを示している。
• 答えの可能性予測は依然として大きな課題である。モデルは、特に曖昧さ、事実誤認、文書内での情報不足に起因する未回答性を検出するのに苦労している。
• 制御実験の結果、ゴールドパラグラフが提供されると、F1スコアが最大10%向上することが判明し、パラグラフ検索が主要なボトル neck であることが示された。
• 6言語にまたがる800件の未回答例の手動アノテーションにより、未回答性は一様ではないことが明らかになった。特に「曖昧なクエリ」や「誤った情報」といったカテゴリは検出が困難である。
• 質問の表層形に特徴があることが判明し、モデルが質問だけから答えの可能性を予測できることが示され、現在のデータセットにショートカット学習のリスクがあることが示唆された。
• 多くの未回答質問に対して代替の知識ソースが存在することが判明した。これにより、Wikipedia に限定された情報源から脱却することで、答えのカバレッジを著しく向上できる可能性がある。