[論文レビュー] One Question Answering Model for Many Languages with Cross-lingual Dense Passage Retrieval

Akari Asai, Xinyan Yu+2 more|arXiv (Cornell University)|Jul 26, 2021

Topic Modeling被引用数 31

ひとこと要約

CORA は統一された多言語の多対多オープンQAモデルで、単一のクロスリンガルリトリーバーを用いて言語を跨いだ証拠を取得し、翻訳や言語固有モジュールを使うことなくターゲット言語で回答を生成します。反復的なデータマイニングを用いて訓練データを拡張し、26言語で最先端の結果を達成します。

ABSTRACT

We present Cross-lingual Open-Retrieval Answer Generation (CORA), the first unified many-to-many question answering (QA) model that can answer questions across many languages, even for ones without language-specific annotated data or knowledge sources. We introduce a new dense passage retrieval algorithm that is trained to retrieve documents across languages for a question. Combined with a multilingual autoregressive generation model, CORA answers directly in the target language without any translation or in-language retrieval modules as used in prior work. We propose an iterative training method that automatically extends annotated data available only in high-resource languages to low-resource ones. Our results show that CORA substantially outperforms the previous state of the art on multilingual open QA benchmarks across 26 languages, 9 of which are unseen during training. Our analyses show the significance of cross-lingual retrieval and generation in many languages, particularly under low-resource settings.

研究の動機と目的

• 言語特有のパイプラインや翻訳ベースの誤差伝搬を用いずに、多言語オープンQAに取り組む。
• 多言語のパッセージから任意のターゲット言語で質問に回答するための、単一のクロスリンガルリトリーバーと多言語ジェネレータを開発する。
• 反復学習とWikipediaの言語リンクを通じて、言語間の訓練データを自動的に拡張する。
• 低資源言語を特に対象として、言語横断的検索と生成の利点を示すために、多様な言語で評価する。

提案手法

• Dense Passage Retrieval を多言語設定に拡張し、mBERT でパッセージと質問をエンコードし、内積で上位のパッセージを取得する。
• 取得したパッセージを条件として、ターゲット言語で回答を生成する多言語系列-to-系列ジェネレータ（mGEN、例：mT5）を用いる。
• 追加の人手アノテーションや機械翻訳なしで、Wikipedia の言語リンクとモデル予測を用いた反復データマイニングにより訓練データを拡張して学習する。
• 生成時にターゲット言語を示す言語タグを質問に付与する。
• 翻訳のみのデータ拡張は避け、合成回答はジェネレータによって生成され、訓練に用いられる。
• 推論時には、CORA が任意の言語から取得し、単一の mDPR/mGEN ペアを用いてターゲット言語で生成する。

実験結果

リサーチクエスチョン

• RQ1 単一のクロスリンガルリトリーバーとジェネレータが、言語特有のパイプラインなしで多言語にまたがるオープンQAを実現できますか？
• RQ2 言語横断的リトリーバルは低資源言語における回答品質にどのような影響を与えますか？
• RQ3 反復的データマイニングはどの程度言語間に訓練データを拡張し、言語横断QAの性能を向上させますか？
• RQ4 翻訳ベースや抽出的アプローチと比較して、多言語生成は回答の品質を向上させますか？

主な発見

• CORA は 26 言語で従来の多言語オープンQA手法を大きく上回り、Xor-TyDi QA および MKQA ベンチマークで顕著な向上を示す。
• Xor-TyDi QA では、CORA は従来の SOTA を最大で 23.4 F1 ポイント上回る。
• MKQA では、MKQA データを訓練に使用しなくても最大で 4.7 F1 ポイント改善する。
• CORA は言語横断的リトリーバルと生成の利点を示しており、特に低資源設定や訓練時に未出現の言語において効果がある。
• 非英語ソースからの取得は、英語ソースの証拠ギャップにより回答不能とみなされる質問の一部に回答を可能にする。