[論文レビュー] TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages

Jonathan H. Clark, Eunsol Choi+5 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling被引用数 100

ひとこと要約

TyDi QA は、翻訳なしで多言語情報検索QAをテストすることを目的とした、204K の質問・回答ペアを含む11 の類型論的に多様な言語にまたがるQAベンチマークを紹介します。

ABSTRACT

Confidently making progress on multilingual modeling requires challenging, trustworthy evaluations. We present TyDi QA---a question answering dataset covering 11 typologically diverse languages with 204K question-answer pairs. The languages of TyDi QA are diverse with regard to their typology---the set of linguistic features each language expresses---such that we expect models performing well on this set to generalize across a large number of the world's languages. We present a quantitative analysis of the data quality and example-level qualitative linguistic analyses of observed language phenomena that would not be found in English-only corpora. To provide a realistic information-seeking task and avoid priming effects, questions are written by people who want to know the answer, but don't know the answer yet, and the data is collected directly in each language without the use of translation.

研究の動機と目的

• 英語以外の一般化を向上させるために、類型論的に多様な言語を用いた多言語QA評価を動機づける。
• 各言語で直接収集された高品質で実情報探索型のQAデータセットを提供する。
• データ品質を定量的に評価し、英語だけのデータでは不可能な言語固有の言語学的分析を実行する。

提案手法

• 11言語を網羅し204KのQAペアを含む TyDi QA を組み立てる。
• 各言語で直接質問と回答を収集し、翻訳を行わずプライミング効果を避ける。
• 質問は回答を求める人でないユーザーによって行われるようにし、現実的な情報ニーズを反映させる。
• 定量的なデータ品質分析と言語現象の定性的な言語学的分析を行う。
• 多言語QAモデルと跨言語一般化を評価するのに適したベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 類型論的に多様な言語にわたるQAデータの品質と言語的カバレッジはどの程度か？
• RQ2 各言語における情報探索的な質問は、英語ベンチマークと比べて言語的にどのように異なるか？
• RQ3 1つのベンチマーク環境は、世界の多くの言語に対する QAモデルの一般化を促進できるか？

主な発見

• このデータセットは11言語にわたる204Kの質問と回答ペアを含む。
• 質問は答えを知りたい人によって書かれ、各言語で直接翻訳なしに収集されている。
• 本論文は定量的なデータ品質分析と定性的な言語学的分析を提供し、英語のみのコーパスには見られない現象を明らかにしている。
• TyDi QA は現実的な情報探索タスクを支援し、プライミング効果を低減するよう設計されている。
• このデータセットは、言語タイプが多様な言語間での一般化能力を多言語モデルの評価に用いることを可能にする。