[論文レビュー] Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind

Zheng Zhang, Ruiqing Yin+2 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 12被引用数 5

ひとこと要約

本稿では、多義語トークン埋め込みをノイズ（削除）または平均アンカーをクラスターレベルの平均アンカーに置き換えることで、多言語間コンテキスト付き単語埋め込みのアライメントを改善する手法を提案する。実験の結果、特に多義語に対して顕著な向上が得られ、教師なし二国語語彙インダクションで10ポイント以上の向上が達成された一方で、マクロスコピックな性能は維持された。

ABSTRACT

Recent work in cross-lingual contextual word embedding learning cannot handle multi-sense words well. In this work, we explore the characteristics of contextual word embeddings and show the link between contextual word embeddings and word senses. We propose two improving solutions by considering contextual multi-sense word embeddings as noise (removal) and by generating cluster level average anchor embeddings for contextual multi-sense word embeddings (replacement). Experiments show that our solutions can improve the supervised contextual word embeddings alignment for multi-sense words in a microscopic perspective without hurting the macroscopic performance on the bilingual lexicon induction task. For unsupervised alignment, our methods significantly improve the performance on the bilingual lexicon induction task for more than 10 points.

研究の動機と目的

• 多義語のトークン埋め込みの幾何的分布とそれらの語義との関係を調査すること。
• 特に、複数の意味固有のトークン埋め込みを単一のアンカーに平均化することによる制限を、現在の多言語間マッピング手法が多義語に適用された場合に特定すること。
• 多義語埋め込みをノイズとして扱うか、または平均アンカーを意味クラスターレベルの平均アンカーに置き換えることで、教師ありおよび教師なしの多言語間アライメントを改善すること。
• マクロスコピックなアライメント品質を損なわずに、二国語語彙インダクションのパフォーマンスを向上させること。

提案手法

• 多義語の同音異義語や語幹化形を含む翻訳ペアを削除することで、ノイズの多い教師信号を低減する。
• k-meansクラスタリングによるトークン埋め込みのクラスタリングから得られるクラスターレベルの平均アンカー埋め込みで、標準的な平均アンカー埋め込みを置き換える。
• 多義語のコンテキスト付きトークン埋め込みを生成するために、ELMoの最初のLSTM層の出力を使用する。
• 提案されたアンカー修正を適用した教師ありおよび教師なしの多言語間マッピングフレームワーク（例：MUSE、線形マッピング）を適用する。
• 埋め込み空間を可視化し、多義語のトークン埋め込みの空間的クラスタリングと、ターゲット言語の単語とのアライメントを分析する。
• 二国語語彙インダクションタスクにおけるP@k（上位k件の精度）を用いてパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 多義語のトークン埋め込みの幾何的分布は、それらの異なる語義とどのように関係しているか？
• RQ2 複数の意味固有のトークン埋め込みを単一のアンカーに平均化することは、多言語間アライメント品質をどの程度損なうか？
• RQ3 多義語の同音異義語や語幹化形を含む翻訳ペアを削除することで、アライメント精度が向上するか？
• RQ4 平均アンカーをクラスターレベルの平均アンカーに置き換えることで、教師ありおよび教師なしの両設定でより良いパフォーマンスが得られるか？
• RQ5 提案手法は、マクロスコピックなアライメントパフォーマンスを損なわずに、教師なし二国語語彙インダクションを向上させることができるか？

主な発見

• 同音異義語や語幹化形を含む翻訳ペアを削除することで、教師なし語彙インダクションがP@top1で10ポイント以上向上した。
• 平均アンカーをクラスターレベルの平均アンカーに置き換えることで、教師なし二国語語彙インダクションタスクで最高のパフォーマンスが達成された。特にELMoの最初のLSTM層の出力を用いた場合に顕著であった。
• 表記ベースの削除手法により、基線の誤り（例：'commands' を 'instructions' にマッピング、'galaxy' を 'titan' にマッピング）が是正され、意味レベルのアライメントが向上したことが示された。
• 教師ありアライメントタスクにおいても、性能は維持またはわずかに向上し、P@1で約0.6%の差異に留まった。マクロスコピックな性能の低下は認められなかった。
• 可視化により、同音異義語関連の教師信号を削除することで、フランス語の 'banque' が 'bank' の金融的意味クラスターレベルに近づいたことが確認され、意味固有のアライメントが向上したことが示された。
• 結果から、多義語埋め込みは一様に分布しているのではなく、意味レベルのクラスタリングが効果的な多言語間マッピングにとって不可欠であることが示唆された。