[論文レビュー] Cross-Lingual GenQA: A Language-Agnostic Generative Question Answering Approach for Open-Domain Question Answering.

Benjamin Müller, Luca Soldaini+3 more|arXiv (Cornell University)|Oct 14, 2021

Topic Modeling参考文献 41被引用数 5

ひとこと要約

本稿では、5つの言語（アラビア語、ベンガル語、英語、日本語、ロシア語）で高品質で自然な発話のようないくつかの言語に依存しない生成的質問応答（GenQA）システムであるCross-Lingual GenQAを紹介する。新規のGenTyDiQAデータセットを用いて、多言語のシーケンス・ツー・シーケンスモデルが、単言語モデルや回答文選択ベースラインを上回ることを示している。これは、多様な言語入力を用いて訓練された場合でも成立する。

ABSTRACT

Open-Retrieval Generative Question Answering (GenQA) is proven to deliver high-quality, natural-sounding answers in English. In this paper, we present the first generalization of the GenQA approach for the multilingual environment. To this end, we present the GenTyDiQA dataset, which extends the TyDiQA evaluation data (Clark et al., 2020) with natural-sounding, well-formed answers in Arabic, Bengali, English, Japanese, and Russian. For all these languages, we show that a GenQA sequence-to-sequence-based model outperforms a state-of-the-art Answer Sentence Selection model. We also show that a multilingually-trained model competes with, and in some cases outperforms, its monolingual counterparts. Finally, we show that our system can even compete with strong baselines, even when fed with information from a variety of languages. Essentially, our system is able to answer a question in any language of our language set using information from many languages, making it the first Language-Agnostic GenQA system.

研究の動機と目的

• 生成的質問応答（GenQA）を英語に限らず多言語環境に拡張すること。
• オープンドメインQAにおける低リソース言語や非英語言語で、高品質で自然な発話のようないくつかの回答が不足している問題に対処すること。
• 複数のターゲット言語で流暢な回答を生成できる統合的で多言語のモデルを構築すること。
• 多言語訓練が、GenQAにおける単言語のファインチューニングと比較して、より優れた一般化性能をもたらすかどうかを評価すること。
• 1つのモデルを用いて複数の言語を効果的に処理できる言語に依存しないQAの実現可能性を調査すること。

提案手法

• アラビア語、ベンガル語、英語、日本語、ロシア語の5言語で自然で適切な形の回答を付与することで、TyDiQAデータセットをアノテートし、GenTyDiQAデータセットを構築する。
• 多言語のGenTyDiQAデータセット上でシーケンス・ツー・シーケンスモデルを訓練し、質問-文脈ペアから直接回答を生成する。
• 各ターゲット言語ごとに多言語モデルをファインチューニングし、単言語モデルとの性能を比較する。
• ゼロショットのクロスリンガル転送を評価し、他の言語の文脈を用いてある言語の回答を生成する。
• すべての5言語で、最先端の回答文選択モデルと多言語GenQAモデルを比較する。
• 共有の多言語トークナイザーとエンコーダ・デコーダアーキテクチャを用いて、クロスリンガル転送と言語に依存しない推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語シーケンス・ツー・シーケンスモデルが、言語固有のファインチューニングなしに、複数の言語で高品質で自然な発話のようないずれの言語でも回答を生成できるか？
• RQ2 多言語事前学習は、単言語モデルと比較して、生成的質問応答におけるゼロショットのクロスリンガル一般化を向上させるか？
• RQ3 多言語GenQAモデルは、低リソース言語を含む多様な言語で、強力な回答文選択ベースラインを上回る性能を示せるか？
• RQ4 複数の言語のデータで訓練されたモデルが、他の言語の文脈を用いて、ターゲット言語で流暢な回答を生成できる程度はどの程度か？
• RQ5 真に言語に依存しない生成的QAシステムを構築することは可能か？そのシステムは複数の言語で競争力のある性能を発揮できるか？

主な発見

• 多言語GenQAモデルは、GenTyDiQAデータセットの全5言語で、最先端の回答文選択モデルを上回る性能を示した。
• 多言語モデルは、言語ごとにファインチューニングされた単言語モデルと比較して、競争的または優れた性能を発揮し、優れたゼロショット一般化能力を示した。
• 複数の言語のデータで訓練されたにもかかわらず、モデルは任意のターゲット言語で流暢で適切な形の回答を生成でき、言語に依存しない能力を確認した。
• ベンガル語やアラビア語のような低リソース言語でも、モデルは強力な性能を維持しており、多言語環境での頑健性を示した。
• 結果から、クロスリンガル情報検索と多言語訓練が、オープンドメインQAにおける回答生成品質を顕著に向上させることを示した。
• GenTyDiQAデータセットは、多言語生成的QAのための新たなベンチマークを提供し、将来の言語に依存しないNLP分野の研究を可能にする。