[論文レビュー] Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model

Tsung-Yuan Hsu, Chi-liang Liu+1 more|arXiv (Cornell University)|Sep 15, 2019

Topic Modeling参考文献 23被引用数 25

ひとこと要約

本稿では、機械翻訳を用いず、多言語Bert（multi-BERT）を用いてゼロショットのクロスリンガル読解理解が可能であることを示している。中国語や韓国語のような低リソース言語ペアにおいても、強力な性能を達成している。モデルは高リソース言語から低リソース言語へ知識を効果的に転送しており、コードスイッチィングや文法的差異に対しても、性能の低下が最小限に抑えられている。

ABSTRACT

Because it is not feasible to collect training data for every language, there is a growing interest in cross-lingual transfer learning. In this paper, we systematically explore zero-shot cross-lingual transfer learning on reading comprehension tasks with a language representation model pre-trained on multi-lingual corpus. The experimental results show that with pre-trained language representation zero-shot learning is feasible, and translating the source data into the target language is not necessary and even degrades the performance. We further explore what does the model learn in zero-shot setting.

研究の動機と目的

• 多言語Bertが、ターゲット言語のデータに対する微調整なしに、ゼロショットのクロスリンガル転移学習を読解理解に適用できるかどうかを調査すること。
• 英語と中国語のような語彙的類似度が低い言語間におけるゼロショット転移の有効性を評価すること。
• 多言語Bertが、コードスイッチィングや文法的差異に対応できる言語に依存しない表現を学習しているかどうかを検討すること。
• ゼロショットクロスリンガルRCにおいて、ソースデータの機械翻訳が必要または有益であるかどうかを特定すること。
• コードスイッチィングや変更された文法的語順といった人工的なデータの摑みを含めた状況下でのmulti-BERTの耐性を分析すること。

提案手法

• ある言語（例：英語）の訓練データセットで多言語Bertを微調整し、他の言語（例：中国語、韓国語）のテストデータセットに対して、追加の微調整なしに直接評価する。
• 言語固有の適応なしに、事前学習済みの多言語Bert（104言語）を用い、デフォルトのハイパーパrameterと標準的なBERT微調整手順で学習する。
• Google Translateを用いてSQuAD、DRCD、KorQuADを追加言語に翻訳し、回答スパンを回復するためにファジー一致を用いて人工的な多言語データセットを生成する。
• Facebook AIのMUSEから得た二語対訳辞書を用いて、英語テキストの単語を他の言語の翻訳に置き換えることで、コードスイッチィングデータセットを構築する。
• 英語文の語順をSOV、VOS、VSO、OSV、OVSに再配置することで、文法的耐性をテストするためのタイプロジー操作済みデータセットを構築する。
• 微調整前後におけるmulti-BERTの最終層の多言語トークン表現の可視化と分析を、PCAを用いて行う。

実験結果

リサーチクエスチョン

• RQ1 多言語Bertは、ターゲット言語の訓練データが一切ない状況でも、ゼロショットの読解理解転移を達成できるか？
• RQ2 ソースデータをターゲット言語に翻訳することは、クロスリンガルRCにおけるゼロショット性能を向上させるか、悪化させるか？
• RQ3 英語と中国語のような語彙的類似度が低い言語間において、多言語Bertはどの程度一般化できるか？
• RQ4 異なる言語の単語が同じ文に混在するコードスイッチィングに対して、multi-BERTはどの程度耐性があるか？
• RQ5 訓練データの文法的語順（例：SVOからSOVに）を変更すると、クロスリンガル転移性能に影響を与えるか？

主な発見

• 多言語Bertを用いたゼロショットクロスリンガル転移は可能であり、英語データで学習した場合、中国語テストセットで81.2のEMおよび88.68のF1を達成した。
• ソースデータをターゲット言語に翻訳することは必要ではなく、性能を低下させる。英語→中国語転移において、翻訳を用いた場合、EMは81.2から59.7に低下した。
• 低複雑度の言語ペアにおいても、モデルは効果的に一般化しており、英語で学習した場合、中国語テストセットで63.3のEMおよび78.8のF1を達成した。韓国語では49.2のEMおよび69.3のF1を達成した。
• コードスイッチィング（例：英語に中国語、フランス語、または日本語の単語を混在）に対しても、モデルは妥当な性能を維持しており、韓国語スイッチドデータではEMが81.2から39.9に低下したが、依然として70％のケースで正しく答えを特定していた。
• 語順のタイプロジー的変更（例：SVOからSOVに）は、転移性能にほとんど影響を与えず、異なる語順間でEMが3％未満の変動にとどまった。これは、multi-BERTが文法的差異を正常化していることを示唆している。
• PCAの可視化により、多言語トークン（例：英語と中国語）が共有され、意味的に整合性のある空間に埋め込まれており、微調整後には異なる言語からの表現が密にクラスタリングされていることがわかった。