[論文レビュー] Cross-Lingual Transfer Learning for Question Answering

Chia‐Hsuan Lee, Hung-yi Lee|arXiv (Cornell University)|Jul 13, 2019

Topic Modeling参考文献 44被引用数 7

ひとこと要約

本稿では、中国語などの低リソース言語で性能を向上させるために、機械翻訳（MT）ベースおよびGANベースのアプローチを用いた質問応答（QA）のためのクロスリンガル転移学習を提案する。GANベースの手法は、言語別判別器と単語対単語翻訳辞書を用いた敵対的訓練により、言語に依存しない表現を学習し、文単位の翻訳システムを必要とせずにMTベースの手法と同等の性能を達成する。両手法を組み合わせることで、中国語DRCDデータセットで最先端の結果が得られる。

ABSTRACT

Deep learning based question answering (QA) on English documents has achieved success because there is a large amount of English training examples. However, for most languages, training examples for high-quality QA models are not available. In this paper, we explore the problem of cross-lingual transfer learning for QA, where a source language task with plentiful annotations is utilized to improve the performance of a QA model on a target language task with limited available annotations. We examine two different approaches. A machine translation (MT) based approach translates the source language into the target language, or vice versa. Although the MT-based approach brings improvement, it assumes the availability of a sentence-level translation system. A GAN-based approach incorporates a language discriminator to learn language-universal feature representations, and consequentially transfer knowledge from the source language. The GAN-based approach rivals the performance of the MT-based approach with fewer linguistic resources. Applying both approaches simultaneously yield the best results. We use two English benchmark datasets, SQuAD and NewsQA, as source language data, and show significant improvements over a number of established baselines on a Chinese QA task. We achieve the new state-of-the-art on the Chinese QA dataset.

研究の動機と目的

• 英語などの高リソース言語から低リソース言語（中国語など）へのQAパフォーマンスを向上させる知識転送を目的とする。
• 機械翻訳が高リソース言語から低リソース言語へQA知識を効果的に転送できるかどうかを調査すること。
• 文単位の翻訳システムに依存せず、単語対単語翻訳辞書のみに依存する低リソースクロスリンガル転移手法を開発すること。
• MTベースとGANベースの転移アプローチの有効性を比較すること。
• 両手法を組み合わせて、低リソースターゲット言語における最適なパフォーマンスを達成すること。

提案手法

• MTベースのアプローチでは、QAモデルのファインチューニングの前に、文単位の翻訳システムを用いてソース言語（例：英語）の訓練データをターゲット言語（例：中国語）に翻訳する。
• GANベースのアプローチでは、言語依存層と言語判別器を導入し、ドメイン敵対的訓練により言語に依存しない潜在表現を学習する。
• 言語判別器は、ソース言語とターゲット言語の表現を区別するように学習される一方、QAモデルは判別器をだますように学習され、共通の特徴学習を促進する。
• 訓練は、片方の言語依存層を更新して主損失を最小化する段階と、もう片方はQA損失のみを最小化する段階を交互に繰り返し、訓練の安定性を確保する。
• 本手法は文単位のMTシステムに依存せず、単語対単語翻訳辞書のみを用いる。
• MTベースとGANベースのアプローチを組み合わせることで最良のパフォーマンスが達成され、翻訳と敵対的特徴整合の両方の利点を活かす。

実験結果

リサーチクエスチョン

• RQ1 文単位の機械翻訳は、高リソース言語から低リソース言語へのQA知識を効果的に転送できるか？
• RQ2 単語対単語翻訳辞書のみを用いたGANベースのアプローチは、MTベースの手法と同等の性能を達成できるか？
• RQ3 言語判別器を用いた敵対的訓練は、クロスリンガル転移のための言語に依存しない表現の学習を支援するか？
• RQ4 MTベースとGANベースの転移戦略を組み合わせることでパフォーマンスが向上するか？
• RQ5 クロスリンガル転移を用いる場合、ターゲット言語で必要なラベル付きデータ量はどの程度で、完全に教師あり学習と比較してどうなるか？

主な発見

• MTベースのアプローチは中国語DRCDデータセットにおける性能を顕著に向上させ、SQuADをソースとして使用した場合にF1スコア87.26を達成した。
• 単語対単語翻訳辞書のみを用いたGANベースのアプローチは、最良のMTベースのアプローチと同等の性能を達成し、SQuADベースの訓練でF1スコア85.35を記録した。
• MTとGANベースのアプローチを組み合わせることで最良のパフォーマンスが得られ、SQuADではF1スコア87.26、NewsQAでは84.94を達成した。
• ソース（英語）表現をターゲット（中国語）に合わせるGAN-CHバージョンは、GAN-ENを上回り、ソースをターゲットに合わせることがより効果的であることを示した。
• 提案手法により、ラベル付き中国語QAペアを25,000組で学習したベースラインモデルと同等の性能を15,000組のデータで達成でき、高いデータ効率を示した。
• GANベースの手法は中国語DRCDデータセットで最先端の結果を達成し、低リソースクロスリンガルQAの新たなベンチマークを設定した。