[論文レビュー] AmbigQA: Answering Ambiguous Open-domain Questions

Sewon Min, Julian Michael+2 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 27被引用数 16

ひとこと要約

この論文では、曖昧な質問に対して複数の妥当な答えを特定し、各々に対して意味を明確にした再書き換えを生成する必要がある、新しいオープンドメイン質問応答タスクであるAmbigQAを紹介する。NQ-openから抽出した14,042件の曖昧な質問を含むAmbigNQデータセットを用いて、質問の50%以上が曖昧であることが示され、NQ-openからの弱い教師信号を活用することで、複数答えの生成と意味の明確化を改善するベースラインモデルを提示。これらのモデルは、複数答え予測タスクにおいて強力なゼロショット性能を達成している。

ABSTRACT

Ambiguity is inherent to open-domain question answering; especially when exploring new topics, it can be difficult to ask questions that have a single, unambiguous answer. In this paper, we introduce AmbigQA, a new open-domain question answering task which involves finding every plausible answer, and then rewriting the question for each one to resolve the ambiguity. To study this task, we construct AmbigNQ, a dataset covering 14,042 questions from NQ-open, an existing open-domain QA benchmark. We find that over half of the questions in NQ-open are ambiguous, with diverse sources of ambiguity such as event and entity references. We also present strong baseline models for AmbigQA which we show benefit from weakly supervised learning that incorporates NQ-open, strongly suggesting our new task and data will support significant future research effort. Our data and baselines are available at https://nlp.cs.washington.edu/ambigqa.

研究の動機と目的

• オープンドメイン質問応答における曖昧さの課題に対処すること。質問はしばしば複数の妥当な解釈を持つ。
• モデルがすべての妥当な答えを特定し、各々に対して意味が明確にされた質問のバリエーションを生成する必要がある、新しいタスクAmbigQAを構築すること。
• NQ-openから得た14,042件の曖昧な質問を含む、高品質なAmbigNQデータセットを構築すること。このデータセットは多様な曖昧のタイプをカバーし、高いアノテーター間一致度（89.0 F1）を達成している。
• NQ-openからの弱い教師信号を活用して、複数答え生成と意味の明確化のための強力なベースラインモデルを確立すること。
• 単一答えのNQ-openデータで事前学習したモデルを用いて、マルチアンサー予測のゼロショット評価の可能性を評価すること。

提案手法

• NQ-openから14,042件の曖昧な質問を収集し、人間のアノテーターがWikipediaの検索と閲覧を経て、すべての妥当な答えを特定することでAmbigNQを構築する。
• マルチステージのモデルパイプラインを設計する：(1) セットベースの答え生成のための系列変換モデル、(2) それぞれの答えに対して質問を再書き換える意味の明確化モデル、(3) NQ-openからの部分的教師信号を活用する修正されたデモクラティックコトレーニング手法。
• NQ-openで微調整されたモデルから複数の答えを抽出するためにしきい値戦略を適用し、ゼロショットでのマルチアンサー予測を可能にする。
• 各コンポonentの答えの再現率と意味の明確化品質への影響を評価するために、アブレーションスタディと定性的分析を実施する。
• NQ-openからの弱い教師信号を用いて、すべての答えの完全なアノテーションが不要な状況でも、AmbigNQにおける性能を向上させる。
• NQ-openにおける正確一致（EM）とAmbigNQのマルチアンサー予測タスクにおけるF1スコアを用いて、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 NQ-openのような既存のベンチマークにおいて、実際に曖昧なオープンドメイン質問はどの程度の割合を占め、主な曖昧の原因は何か？
• RQ2 単一答えのQAデータで学習したモデルは、マルチアンサー例の直接的教師信号がなくても、曖昧な質問に対して複数の妥当な答えを予測できるか？
• RQ3 弱い教師信号学習法は、曖昧な質問におけるマルチアンサー生成と意味の明確化された質問再書き換えの改善にどの程度効果的か？
• RQ4 マルチアンサー生成における主な失敗モードは何か。特に、答えの再現率と答え選択の観点から。
• RQ5 質問の曖昧さが、NQ-openのような標準ベンチマークにおけるモデル性能の低評価を引き起こす程度はどの程度か？

主な発見

• NQ-openの質問の50%以上が曖昧であり、エンティティ参照、出来事参照、答えの種別、時間依存性といった多様な要因が関与している。
• AmbigNQデータセットには14,042件のアノテート済み質問が含まれており、1質問あたり平均2.1の異なる答えが存在し、高いアノテーター間一致度（89.0 F1）を達成している。
• NQ-openからの弱い教師信号で微調整されたベースラインモデルは、マルチアンサー予測において強力なゼロショット性能を示しており、SpanSeqGenはAmbigNQのマルチアンサーF1で42.2を達成している。
• 答えの再現率は依然として大きな課題である：20件中15件の部分的正解では、モデルが1つの答えしか生成せず、しばしば妥当な代替案を欠いている。
• 非曖昧な質問では高い性能（20件中13件正解）を示しており、NQ-openのような標準ベンチマークが、曖昧さがマークされていないためにモデル性能を低く評価している可能性がある。
• 結果から、今後のAmbigQA研究における答えの再現率と意味の明確化品質の向上が、主な課題であることが示唆されている。