[論文レビュー] Break It Down: A Question Understanding Benchmark

Tomer Wolfson, Mor Geva+5 more|arXiv (Cornell University)|Jan 31, 2020

Topic Modeling参考文献 50被引用数 5

ひとこと要約

本稿では、複雑な質問を順序付けられた実行可能なステップに分解する自然言語ベースの形式的表現である質問分解意味表現（QDMR）を紹介する。著者らは、10のデータセットおよび3つのモダリティをカバーする83,978組の質問-QDMRペアを含む「Break」データセットをリリースし、HotpotQAにおけるオープンドメイン質問応答でF1スコアが43.3から52.4に向上することを示した。また、コピーメカニズムを備えたシーケンス・トゥ・シーケンスモデルを用いたニューラルパーサーが54%の精度を達成し、有効なパーサーの実装を示した。

ABSTRACT

Understanding natural language questions entails the ability to break down a question into the requisite steps for computing its answer. In this work, we introduce a Question Decomposition Meaning Representation (QDMR) for questions. QDMR constitutes the ordered list of steps, expressed through natural language, that are necessary for answering a question. We develop a crowdsourcing pipeline, showing that quality QDMRs can be annotated at scale, and release the Break dataset, containing over 83K pairs of questions and their QDMRs. We demonstrate the utility of QDMR by showing that (a) it can be used to improve open-domain question answering on the HotpotQA dataset, (b) it can be deterministically converted to a pseudo-SQL formal language, which can alleviate annotation in semantic parsing applications. Last, we use Break to train a sequence-to-sequence model with copying that parses questions into QDMR structures, and show that it substantially outperforms several natural baselines.

研究の動機と目的

• 複雑な質問の意味を実行可能なステップに分解する、スケーラブルで人間がアノテート可能な形式的表現を開発すること。
• オープンドメイン質問応答および意味解析における構造的・合成的質問理解の不足を是正すること。
• 基礎となる情報ソースに依存しない、大規模かつマルチモーダルな質問分解ベンチマークを構築すること。
• QDMRが質問応答システムにおける推論を向上させられること、および形式的意味解析の代理として機能できることを実証すること。
• コピーメカニズムを備えたニューラルシーケンス・トゥ・シーケンスモデルを訓練・評価し、エンドツーエンドのQDMRパースを実現すること。

提案手法

• QDMRを提案し、複雑な質問を選択、フィルタリング、投影などの原子的演算に対応する順序付けられた自然言語ステップに表現する意味表現として用いる。
• 非専門家アノテーターが大規模に高品質なQDMRアノテーションを生成できるよう、ユーザインタフェースを備えたクラウドソーシングパイプラインを設計する。
• テキスト、知識ベース、画像の3つのモダリティをカバーする10のデータセットから、83,978組の質問-QDMRペアを含む「Break」データセットを収集した。
• QDMRを擬似SQL形式の言語に決定的にマッピングできることを示し、意味解析への応用を可能にするとともに、専門家がアノテートした論理形式への依存を低減した。
• コピーメカニズム（CopyNetスタイル）を備えたシーケンス・トゥ・シーケンスニューラルモデルを訓練し、質問からQDMR構造へのマッピングを実現した。
• 手動でのエラー分析を通じてQDMRアノテーションの品質を検証し、97.4%の正答率と高いアノテーター間一貫性を報告した。

実験結果

リサーチクエスチョン

• RQ1 非専門家がスケーラブルに自然言語ベースの質問分解を信頼性高くアノテートできるか？
• RQ2 QDMRはどの程度、オープンドメイン質問応答システムのパフォーマンスを向上させられるか？
• RQ3 コピーメカニズムを備えたニューラルシーケンス・トゥ・シーケンスモデルは、質問をQDMR構造にどの程度正確にパースできるか？
• RQ4 QDMRは意味解析タスクにおける形式的論理形式の代替として実用的か？
• RQ5 人間のアノテーターが生成する分解はどの程度一貫的で意味的に正確か？

主な発見

• 「Break」データセットには、97.4%のアノテーション正答率を達成したスケーラブルなクラウドソーシングパイプラインを経て収集された83,978組の高品質な質問-QDMRペアが含まれる。
• QDMRを用いることで、リtrieval増強モデルと組み合わせたHotpotQAにおけるオープンドメイン質問応答の性能が向上し、F1スコアが43.3から52.4に上昇した。
• コピーメカニズムを備えたシーケンス・トゥ・シーケンスモデルに基づくQDMRパーサーは、手動評価で54%の精度を達成し、自動QDMRパースの実現可能性を示した。
• アノテーターのQDMR生成には高い一貫性が見られ、一貫性分析において85.7%の予測がゴール分解と一致した。
• QDMR分解は30%のケースでゴール基準と意味的に同等であり、誤りの46%のケースで誤りであることが判明し、意図された意味と強い一致を示した。
• QDMRから擬似SQLへの決定的マッピングにより、意味解析への応用が可能になり、高コストな専門家アノテート論理形式の必要性が低減された。