[論文レビュー] On Learning Universal Representations Across Languages

Xiangpeng Wei, Rongxiang Weng+4 more|arXiv (Cornell University)|Jul 31, 2020

Topic Modeling参考文献 64被引用数 11

ひとこと要約

本稿では、対照的学習を通じて文レベルおよび語彙レベルの普遍的表現を同時に学習することにより、クロスリンガル事前学習モデルを向上させる自己教師付きフレームワークである階層的対照的学習（Hictl）を提案する。HictlはXTREMEでXLM-Rを4.2%絶対的に向上させ、低リソースおよび高リソースの機械翻訳タスクの両方で最先端の結果を達成した。

ABSTRACT

Recent studies have demonstrated the overwhelming advantage of cross-lingual pre-trained models (PTMs), such as multilingual BERT and XLM, on cross-lingual NLP tasks. However, existing approaches essentially capture the co-occurrence among tokens through involving the masked language model (MLM) objective with token-level cross entropy. In this work, we extend these approaches to learn sentence-level representations and show the effectiveness on cross-lingual understanding and generation. Specifically, we propose a Hierarchical Contrastive Learning (HiCTL) method to (1) learn universal representations for parallel sentences distributed in one or multiple languages and (2) distinguish the semantically-related words from a shared cross-lingual vocabulary for each sentence. We conduct evaluations on two challenging cross-lingual tasks, XTREME and machine translation. Experimental results show that the HiCTL outperforms the state-of-the-art XLM-R by an absolute gain of 4.2% accuracy on the XTREME benchmark as well as achieves substantial improvements on both of the high-resource and low-resource English-to-X translation tasks over strong baselines.

研究の動機と目的

• 既存のクロスリンガル事前学習モデルがトークンレベルのマスキング言語モデルに依存しており、文レベルの意味を捉えられていないという限界を是正すること。
• 意味的に同等の文に対して言語に依存しない表現を学習することで、言語間の意味的差異を是正すること。
• 文レベルおよび語彙レベルの対照的学習を統合することで、ゼロショットおよび低リソース設定におけるクロスリンガル転移性能を向上させること。
• 階層的対照的学習が、現在の最先端モデルを上回るクロスリンガル理解および生成タスクへの向上を示すこと。

提案手法

• Hictlは、複数言語間の並列文ペアの[CLS]トークンから文表現を生成するBERTスタイルのエンコーダを用いる。
• 文レベルでは、並列文同士の類似度を最大化し、非並列文同士の類似度を最小化する対照的学習を適用する。
• 語彙レベルでは、文ペア内の各語をポジティブサンプルとし、共有語彙内の他のすべての語をネガティブサンプルとみなす。計算コストを低減するためにハードネガティブサンプリングを用いる。
• 文レベルおよび語彙レベルの対照的目的関数を組み合わせることで、普遍的なクロスリンガル表現を同時に最適化する。
• Hictlは大規模な単語彙コーパス（CCNet-100）で事前学習され、その後XTREMEや機械翻訳ベンチマークなどの下流タスクで微調整される。
• 本手法はゼロショットおよびフェイシュット設定で評価され、並列データが存在しないターゲット言語ペアの言語転送タスクを含む。

実験結果

リサーチクエスチョン

• RQ1 文レベルおよび語彙レベルの統合的対照的学習は、トークンレベルのマスキング言語モデルに依存する既存手法を上回るクロスリンガル表現学習を可能にするか？
• RQ2 階層的対照的学習は、多言語文ペア間の意味的差異をどの程度低減するか？
• RQ3 提案手法は、並列データが利用できない低リソースおよびゼロショット翻訳設定に一般化可能か？
• RQ4 Hictlは、XLM-R や BERT融合型NMT といった強力なベースラインと比較して、クロスリンガル理解および生成タスクで優れているか？

主な発見

• XTREMEベンチマークにおいて、HictlはXLM-Rを4.2%絶対的に上回り、BUCC や Tatoeba といったゼロショット文検索タスクでは最大6.0%の向上を達成した。
• IWSLT’14 英語→ドイツ語翻訳タスクでは、標準のTransformerベースラインに対して3.34 BLEUポイントの向上を達成した。
• 高リソースのWMT’16 英語→ドイツ語翻訳では、標準のTransformerベースラインに対して2.95 BLEUポイントの向上を達成した。
• ゼロショット言語転送設定では、mBART や HiCTL を上回り、イタリア語→英語では18.6 BLEU、ネパール語→英語では16.0 BLEUを達成した（mBARTではそれぞれ16.7および14.5）。
• IWSLT’17 英語→フランス語および英語→中国語翻訳タスクでは、それぞれ3.24および3.40 BLEUポイントの向上を達成した。
• 限定的な単語彙コーパスでの学習でも頑健な性能を示したが、Gujarati などの低リソース言語では事前学習データが不足していると著しく性能が低下した。