[論文レビュー] Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders

Ivan Vulić, Goran Glavašš+4 more|arXiv (Cornell University)|Apr 30, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、多言語文埋め込みモデル（SE）から隠れた多言語間語彙的知識を抽出・露呈するための単純な対照的微調整手法を提案する。この手法により、1,000～5,000語の翻訳語対のみを用いても、二国語語彙誘導（BLI）などの多言語間語彙的タスクで最先端の性能を達成し、Precision@1で最大+10ポイントの向上を実現した。本手法は大規模な並列データを必要とせず、SEを強力な語彙的埋め込みモデルへと効果的に再構成する。

ABSTRACT

Pretrained multilingual language models (LMs) can be successfully transformed into multilingual sentence encoders (SEs; e.g., LaBSE, xMPNet) via additional fine-tuning or model distillation with parallel data. However, it remains unclear how to best leverage them to represent sub-sentence lexical items (i.e., words and phrases) in cross-lingual lexical tasks. In this work, we probe SEs for the amount of cross-lingual lexical knowledge stored in their parameters, and compare them against the original multilingual LMs. We also devise a simple yet efficient method for exposing the cross-lingual lexical knowledge by means of additional fine-tuning through inexpensive contrastive learning that requires only a small amount of word translation pairs. Using bilingual lexical induction (BLI), cross-lingual lexical semantic similarity, and cross-lingual entity linking as lexical probing tasks, we report substantial gains on standard benchmarks (e.g., +10 Precision@1 points in BLI). The results indicate that the SEs such as LaBSE can be 'rewired' into effective cross-lingual lexical encoders via the contrastive learning procedure, and that they contain more cross-lingual lexical knowledge than what 'meets the eye' when they are used as off-the-shelf SEs. This way, we also provide an effective tool for harnessing 'covert' multilingual lexical knowledge hidden in multilingual sentence encoders.

研究の動機と目的

• 多言語文埋め込みモデル（SE）が、出荷時性能を超えて顕著な多言語間語彙的知識を保持しているかどうかを調査すること。
• SEがBLIなどの文の一部語彙的タスクにおいて、静的多言語語彙埋め込み（CLWE）に比べて性能が劣るというギャップを是正すること。
• 小規模な二国語辞書のみを用いて、対照的学習による軽量で効率的な手法を開発し、その潜在的語彙的知識を露呈すること。
• 得られた特化型埋め込みモデルが、標準的な多言語語彙的プローブタスクにおいて、元の多言語言語モデルおよびSEを上回ることを示すこと。
• 低リソース言語対において本手法の有効性を検証し、さらに静的CLWEと組み合わせることで性能向上を追求すること。

提案手法

• LaBSE や xMPNET などの多言語文埋め込みモデルや、mBERT や XLM-R などの多言語言語モデルを、小規模な二国語語彙（1,000～5,000語の語対）上で対照的学習の目的関数で微調整する。
• 語の翻訳ペアの高次元ベクトル表現を引き寄せ、非翻訳ペアを遠ざける対照的損失を用い、多言語間語彙的整列を最適化する。
• 各言語対ごとに独立して微調整を実施することで、各言語対に特化した語彙的最適化を可能にする。
• 文脈依存性を避けるために、エンコーダへの入力として単独の語または語句を用いることで、モデルパラメータ内に閉じ込められた語彙的知識を分離する。
• 微調整後の多言語語彙的ベクトルと静的CLWE（例：Artetxe et al. からのもの）を補間することで、さらに性能を向上させる。
• 三つの標準的タスク、すなわち二国語語彙誘導（BLI）、多言語語彙的意味的類似度（XLSIM）、多言語エンティティリンク（XL-EL）で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語文埋め込みモデルは、出荷時から使用された場合に観察可能な範囲を超えて、顕著な多言語間語彙的知識を保持しているか？
• RQ2 1,000～5,000語の翻訳語対という最小限の並列データを用いた軽量な対照的微調整手順が、この隠れた語彙的知識を効果的に露呈できるか？
• RQ3 得られた特化型語彙的埋め込みモデルの性能は、元の多言語言語モデルおよびSEと比較して、標準的な多言語語彙的タスクでどのように差がつくか？
• RQ4 本手法は、データが限られる低リソース言語対において特に大きな向上をもたらすか？
• RQ5 微調整済み埋め込みモデルと静的CLWEを組み合わせることで、多言語語彙的タスクにおける性能がさらに向上するか？

主な発見

• 提案された対照的微調整手順により、標準的なBLIベンチマークで最大+10 Precision@1ポイントの向上が達成され、元の多言語言語モデルおよびSEを顕著に上回った。
• LaBSE や xMPNET などの多言語SEは、出荷時性能を超えて顕著な多言語間語彙的知識を保持しているが、追加の微調整がなければ完全に活用されない。
• 本手法は、1,000～5,000語の翻訳語対のみを用いても、BLI、XLSIM、XL-ELの各タスクで最先端の性能を達成し、非常に効率的かつスケーラブルである。
• 特に低リソース言語対において顕著な性能向上が観察され、データが少ない環境でも本手法の有効性が示された。
• 微調整済み語彙的ベクトルと静的CLWEを補間することで、さらに高い性能が得られ、学習済み埋め込みと静的埋め込みの相補的な強みが示された。
• 本手法はモデルに依存せず、任意の多言語エンコーダに適用可能であり、潜在的語彙的知識を解き放つ汎用的ツールを提供する。