[論文レビュー] Inducing Language-Agnostic Multilingual Representations

Wei Zhao, Steffen Eger+2 more|arXiv (Cornell University)|Aug 20, 2020

Topic Modeling参考文献 33被引用数 16

ひとこと要約

本稿では、多言語的文脈埋め込みを正規化することで、言語に依存しない多言語表現を誘導する単純ながら効果的な手法を提案する—言語固有の平均および分散を除去し、ベクトル空間をピボット言語に再配列し、入力テキストを正規化する。主な貢献は、これらの3つの技術が直交的であり、19のタイプロジカルに多様な言語で、m-BERTでは8.9ポイント、XLM-Rでは18.2ポイントの交差言語転送ギャップを低減することである。並列データや高コストの再マッピングを必要とせず、低リソース言語および類似性の低い言語におけるゼロショット転送性能を顕著に向上させる。

ABSTRACT

Cross-lingual representations have the potential to make NLP techniques available to the vast majority of languages in the world. However, they currently require large pretraining corpora or access to typologically similar languages. In this work, we address these obstacles by removing language identity signals from multilingual embeddings. We examine three approaches for this: (i) re-aligning the vector spaces of target languages (all together) to a pivot source language; (ii) removing language-specific means and variances, which yields better discriminativeness of embeddings as a by-product; and (iii) increasing input similarity across languages by removing morphological contractions and sentence reordering. We evaluate on XNLI and reference-free MT across 19 typologically diverse languages. Our findings expose the limitations of these approaches -- unlike vector normalization, vector space re-alignment and text normalization do not achieve consistent gains across encoders and languages. Due to the approaches' additive effects, their combination decreases the cross-lingual transfer gap by 8.9 points (m-BERT) and 18.2 points (XLM-R) on average across all tasks and languages, however. Our code and models are publicly available.

研究の動機と目的

• m-BERT や XLM-R などの多言語エンコーダーの低リソース言語およびタイプロジカルに異なる言語において、交差言語転送性能が低い問題に対処すること。
• 多言語表現から言語アイデンティティ信号を除去することで、大規模な事前学習コーパスや並列データへの依存を低減すること。
• 入力正規化、ベクトル空間正規化、再マッピングが、交差言語転送を改善する上で有効かつ補完的であるかどうかを評価すること。
• 言語の中心点クラスタリングとタイプロジカル相関の分析を通じて、得られた表現が真に言語に依存しないものかどうかを調査すること。

提案手法

• タイプロジカル特徴に従って文を再順序化し、語形の縮約を除去することで、交差言語入力類似性を高める入力レベル正規化の適用。
• 言語固有の平均および標準偏差を除去することで、多言語埋め込みの識別性を向上させ、言語間分散を低減する正規化。
• 線形変換を用いて、ターゲット言語のベクトル空間をピボットソース言語（例：英語）に再配列し、言語間距離を最小化する。
• 入力正規化、ベクトル空間正規化、再マッピングの3つの技術を加法的に組み合わせて適用し、累積的利得を評価する。
• 最先端のエンコーダーである m-BERT および XLM-R を用いて、ゼロショット XNLI および非参照機械翻訳評価（RFEval）で手法を評価する。
• 層ごと、およびデータ量や英語からのタイプロジカル距離に応じた言語ファミリーごとに、影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 入力正規化、ベクトル空間正規化、再マッピングは、19の多様な言語でゼロショット交差言語転送性能を XNLI および RFEval でどの程度向上させるか？
• RQ2 これらの技術は、特に低リソースおよびタイプロジカルに異なる言語において、交差言語転送ギャップにどのように影響を与えるか？
• RQ3 正規化および再配列されたベクトル空間において、言語アイデンティティ信号がどの程度弱体化しているか、言語の中心点クラスタリングの観点から、言語に依存しない性質がどの程度達成されているか？
• RQ4 埋め込み空間における言語類似度が、専門家がアノテートしたタイプロジカル特徴（WALS）とどの程度相関しているか、また、変更後にはその相関がどのように変化するか？

主な発見

• 入力正規化、ベクトル空間正規化、再マッピングの組み合わせにより、m-BERT では平均で8.9ポイント、XLM-R では18.2ポイントの交差言語転送ギャップが低減された。
• ベクトル空間正規化のみで、はるかに高コストな再マッピング手法と同等の性能向上が達成され、言語およびエンコーダー全体にわたって一貫性のある改善が得られた。
• 入力正規化は XNLI および RFEval で最大4.7ポイントの性能向上をもたらしたが、すべての言語で言語学的特徴が利用可能であるという制限がある。
• 3つの技術は基本的に直交的であり、その効果が加法的に積み重なっていることから、交差言語表現不一致の異なる側面を補完的に解決していることが示された。
• 正規化および再配列されたベクトル空間では、言語アイデンティティ信号が顕著に弱体化しており、言語ファミリー内での言語中心点のクラスタリングがより緊密になり、WALS のタイプロジカル特徴との相関が低下した。
• WALS との相関が低下したにもかかわらず、変更後の表現は依然として意味的な構造的類似性を保持しており、言語に依存しない性質を強化しながらも、有用な交差言語情報を維持していることが示唆された。