[論文レビュー] Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions

Haoran Xu, Philipp Koehn|arXiv (Cornell University)|Jul 19, 2021

Topic Modeling参考文献 29被引用数 5

ひとこと要約

本稿では、並列コーパスを活用して言語間の埋め込み空間の同型性を向上させる、文脈に配慮した、辞書に依存しないBERTベースの文脈的埋め込みを用いたクロスリンガルマッピング手法を提案する。反復的正規化を導入して等方性と等長性を強制し、タイプレベルの埋め込みを意味レベルの表現に分割することで、二国語辞書誘導（BDI）タスクで最先端の性能を達成し、従来の多言語単語埋め込み手法よりも最大1%の精度向上を達成した。

ABSTRACT

Typically, a linearly orthogonal transformation mapping is learned by aligning static type-level embeddings to build a shared semantic space. In view of the analysis that contextual embeddings contain richer semantic features, we investigate a context-aware and dictionary-free mapping approach by leveraging parallel corpora. We illustrate that our contextual embedding space mapping significantly outperforms previous multilingual word embedding methods on the bilingual dictionary induction (BDI) task by providing a higher degree of isomorphism. To improve the quality of mapping, we also explore sense-level embeddings that are split from type-level representations, which can align spaces in a finer resolution and yield more precise mapping. Moreover, we reveal that contextual embedding spaces suffer from their natural properties -- anisotropy and anisometry. To mitigate these two problems, we introduce the iterative normalization algorithm as an imperative preprocessing step. Our findings unfold the tight relationship between isotropy, isometry, and isomorphism in normalized contextual embedding spaces.

研究の動機と目的

• ゴールの二国語辞書が不要な教師あり線形マッピング手法を、クロスリンガル文脈的埋め込みに開発すること。
• 並列コーパスを用いて、多言語BERTの文脈的埋め込みを言語間で整列させ、埋め込み空間の同型性を向上させる方法を調査すること。
• 文脈的埋め込みに内在する問題、特に非等方性と非等長性がマッピング品質を低下させる要因となることに対処すること。
• タイプレベルの表現の代わりに、より細分化された意味レベルの表現を用いることで、クロスリンガル整列における表現バイアスを低減する方法を検討すること。
• 等方性と等長性がクロスリンガル空間マッピング品質に与える影響を評価し、正規化手法を用いてその重要性を示すこと。

提案手法

• 並列単語対を抽出するための銀標準翻訳対を、並列単語コーパスから抽出してマッピング行列の学習に使用する。
• 並列文内の対応語対のすべての出現箇所におけるBERT表現を平均化することで、タイプレベルの文脈的埋め込みを構築する。
• クラスタリングやアテンション機構を用いて、多義語性を捉えるためにタイプレベル埋め込みを意味レベル表現に適応的に分割する。
• 反復的正規化（IN）を適用して、言語間の非等方性を低減し、等長性を向上させ、バランスの取れたベクトル分布を確保する。
• Frobeniusノルムの最小化により線形変換行列Wを学習する：$\hat{W} = \arg\min_W \|WX - Y\|_F$、ここでXとYは対応語対の埋め込み行列である。
• BDIベンチマークでの評価に際して、CSLS指標を用いてP@1およびP@5スコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 文脈に配慮した、辞書に依存しない多言語BERT埋め込みのマッピングは、二国語辞書誘導（BDI）タスクにおいて、静的多言語単語埋め込み手法を上回ることができるか？
• RQ2 タイプレベル埋め込みを意味レベル表現に分割することで、クロスリンガルマッピングの同型性と精度が向上するか？
• RQ3 文脈的埋め込み空間における非等方性と非等長性がマッピング性能をどの程度低下させるのか、またそれらは軽減可能か？
• RQ4 反復的正規化による等方性と等長性の強制は、クロスリンガル埋め込み整列の品質にどのように影響するか？
• RQ5 正規化された文脈的埋め込み空間において、同型性、等方性、等長性の間に測定可能な相関関係があるか？

主な発見

• 意味レベル表現を用いることで、タイプレベル埋め込みに比べてBDI精度が1%向上し、同型性の程度が高くなる。
• 反復的正規化により非等方性が顕著に低減され（等方性スコアがほぼ0に近づく）、等長性が向上し、言語間でマッピング品質が向上した。
• 反復的正規化後、同型性のためのRS（相対類似度）スコアが上昇し、BDIタスクにおけるP@1およびP@5スコアの向上と相関した。
• 意味レベル埋め込みは、タイプレベル埋め込みよりもマッピング精度が高く、例えば「bank」→「bank」の正しいドイツ語訳とのコサイン類似度が0.6891（意味レベル）対0.6868（タイプレベル）と高い。
• 本手法は、等方性と等長性がクロスリンガルマッピングにおいて重要な要因であることを示し、反復的正規化による最適化が、埋め込み空間のより一貫性があり正確な整列を実現できることを示した。