[論文レビュー] Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering

Priyanka Sen, Alham Fikri Aji+1 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用数 16

ひとこと要約

Mintaka は、9か国語で合計18万件のサンプルを含み、2万件の英語質問とその翻訳、Wikidataエンティティによるアノテーションを備えた大規模で多言語対応かつ自然に得られた質問・回答データセットである。最高のベースラインモデルは英語で38%のhits@1、多言語的に31%を達成し、複雑な多言語QAタスクにおける改善の余地が大きいことが示された。

ABSTRACT

We introduce Mintaka, a complex, natural, and multilingual dataset designed for experimenting with end-to-end question-answering models. Mintaka is composed of 20,000 question-answer pairs collected in English, annotated with Wikidata entities, and translated into Arabic, French, German, Hindi, Italian, Japanese, Portuguese, and Spanish for a total of 180,000 samples. Mintaka includes 8 types of complex questions, including superlative, intersection, and multi-hop questions, which were naturally elicited from crowd workers. We run baselines over Mintaka, the best of which achieves 38% hits@1 in English and 31% hits@1 multilingually, showing that existing models have room for improvement. We release Mintaka at https://github.com/amazon-research/mintaka.

研究の動機と目的

• 複雑な質問応答のための、大規模で自然に得られた多言語対応データセットが不足しているという問題に対処すること。
• マルチホップ、比較的、最上位の質問を含む8種類の複雑な質問タイプを含めることで、現実世界の複雑さを反映するベンチマークを構築すること。
• 高品質な翻訳とWikidataアノテーション付きの質問・回答ペairを提供することで、多言語エンドツーエンドQA分野の研究を支援すること。
• 単なる事実照会を超えて、多様な言語と複雑な推論タイプの評価を可能にすること。
• 再現可能な多言語QA分野の研究を促進するため、標準化された訓練/開発/テスト分割を含む公開データセットをリリースすること。

提案手法

• クラウドワーカーを用いて、実際のユーザークエリパターンに従い、自然な複雑な英語質問を2万件収集する。
• 各質問と回答にWikidataエンティティIDをアノテーションすることで、構造化知識グラフにリンクさせる。
• プロフェッショナルな翻訳者を用いて、2万件の英語質問を8か国語（アラビア語、フランス語、ドイツ語、ヒンディー語、イタリア語、日本語、ポルトガル語、スペイン語）に翻訳する。
• 言語的および意味的整合性を保ちながら、合計18万件のサンプルを含むバランスの取れたデータセットを構築する。
• スーパレーティブ、インターセクション、マルチホップ、比較的、集計、時系列、数値的、否定的の8つの複雑さのタイプを含むようにデータセットを設計する。
• https://github.com/amazon-research/mintaka にて、事前に定義された訓練（1万4千件）、開発（2千件）、テスト（4千件）の分割を含め、データセットをリリースする。

実験結果

リサーチクエスチョン

• RQ1 既存のエンドツーエンドQAモデルは、単一の事実照会を超える推論を要する複雑な多言語質問に一般化できるか？
• RQ2 多言語QA設定において、英語から他の言語に移行する際、モデルの性能はどの程度低下するか？
• RQ3 外部知識ソースを持たない言語モデルは、比較、数え上げ、順序付けなどの複雑な操作をどの程度適切に処理できるか？
• RQ4 複雑な自然言語質問に直面した際、知識グラフベースのモデルは構造化データ上でどの程度効果的に推論できるか？
• RQ5 現在のモデルがマルチホップ推論や数値演算などの複雑な推論タスクを処理する際の主な失敗要因は何か？

主な発見

• 最高のベースラインモデル（閉形式QA用に微調整したT5）は、英語テストセットで38%のhits@1を達成しており、さらなる改善の余地が大きいことが示された。
• 多言語性能はわずかに低下し、最高のモデルでも全9言語で31%のhits@1を記録しており、言語間での性能格差が確認された。
• DPRベースのリtrievalモデルは多言語的に31%のhits@1を達成したが、検索された本文に推論ステップが明示的に含まれていない場合には苦戦した。
• RigelのようなKGベースのモデルは、正しくエンティティパスをたどれても、主にソートやフィルタリングなどの複雑な操作の制限により、わずか20%のhits@1にとどまった。
• 言語モデル専用のモデルは、しばしば妥当に聞こえるが誤りな回答を予測する（例：2番目のMCU映画として「Thor: The Dark World」ではなく「Iron Man」を予測）ことがあり、推論の失敗を示している。
• 英語と他の言語との間の性能格差は、主に多言語モデルの限界（例：MT5 vs. T5）や多言語エンコーダーの非効率性（例：XLM-RoBERTa vs. RoBERTa）に起因している。