[論文レビュー] Refinement of Unsupervised Cross-Lingual Word Embeddings

Magdalena Biesialska, Marta R. Costa‐jussà|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling参考文献 23被引用数 4

ひとこと要約

本稿では、並列語彙や二国語の教師データを必要とせず、二国語間単語埋め込みの整合性を向上させる自己教師型精錬手法を提案する。小さな自己学習型初期語彙と長さおよび中心不変性の制約を活用することで、特にフィンランド語やドイツ語のような屈曲語彙を有する言語においても、最先端の手法を上回る性能を発揮する。

ABSTRACT

Cross-lingual word embeddings aim to bridge the gap between high-resource and low-resource languages by allowing to learn multilingual word representations even without using any direct bilingual signal. The lion's share of the methods are projection-based approaches that map pre-trained embeddings into a shared latent space. These methods are mostly based on the orthogonal transformation, which assumes language vector spaces to be isomorphic. However, this criterion does not necessarily hold, especially for morphologically-rich languages. In this paper, we propose a self-supervised method to refine the alignment of unsupervised bilingual word embeddings. The proposed model moves vectors of words and their corresponding translations closer to each other as well as enforces length- and center-invariance, thus allowing to better align cross-lingual embeddings. The experimental results demonstrate the effectiveness of our approach, as in most cases it outperforms state-of-the-art methods in a bilingual lexicon induction task.

研究の動機と目的

• 同型のベクトル空間を仮定する直交変換手法の限界に対処すること。これは、形態素が豊富な言語や距離の遠い言語では成立しない。
• 平行コーパスや大規模な二国語辞書に依存せずに、自己教師型手法により非教師型二国語間単語埋め込みの品質を向上させること。
• 小規模で自動的に学習された初期語彙を用いて、共有のベクトル空間内での整合性をガイドする自己教師型精錬フレームワークを開発すること。
• 長さ不変性と中心不変性の制約を課すことにより、言語ベクトル空間における不完全な同型性に起因する問題を軽減し、埋め込みの頑健性を向上させること。
• 標準的な二国語語彙誘導ベンチマークにおいて、最先端の非教師型手法を常に上回ることを実証すること。

提案手法

• 単語コーパスから自動抽出された小規模な初期語彙を活用し、自己教師型精錬フレームワークを構築する。
• 共有空間内でのソース言語とターゲット言語の埋め込みを整列させるために線形変換を適用し、単位長さとゼロ中心のベクトルを強制する制約を課す。
• 共有空間内での語のベクトルとその訳語の距離を最小化する損失関数を導入する。
• すべてのベクトルを単位長に正規化することで長さ不変性を強制し、埋め込み空間の重心が原点に来るように中心不変性を確保する。
• 精錬された目的関数に基づき勾配降下法を用いて変換行列を最適化し、明示的な二国語の教師データなしで整列を向上させる。
• 評価時に近傍検索にCSLS（重心に基づく類似度学習）手法を用い、ベースラインと公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 自己教師型精錬手法は、並列データや二国語データを一切必要とせずに、非教師型二国語間単語埋め込みを向上させることができるか？
• RQ2 本手法は、特にフィンランド語やドイツ語のような形態素が豊富な言語を含む非同型な言語ペアに対しても効果的か？
• RQ3 共有埋め込み空間における長さ不変性と中心不変性の制約を課すことで、標準的な直交変換手法よりも優れた整列が達成できるか？
• RQ4 標準的なベンチマークタスクにおいて、本手法は最先端の非教師型および弱教師型CLEモデルと比較して優れた性能を示すか？
• RQ5 小規模で自己学習された初期語彙は、非教師型CLEの効果的な精錬を導くのに十分か？

主な発見

• 本手法は、英語-スペイン語および英語-フィンランド語の二国語語彙誘導において、非教師型VecMapベースラインを上回り、P@1スコアが高くなった。
• 英語-ドイツ語ペアでは、ベースラインと同等の性能を示し、特に形態素が豊富な言語環境でも頑健であることを裏付けた。
• 元々教師あり設定を想定して設計されたIterNorm精錬手法に対しても、非教師型CLEに適用した場合に本手法が上回った。これは、リソースが限られた状況下でも優れた一般化性能を有することを示している。
• 自己学習型初期語彙の使用は、整列品質を顕著に向上させた。これは、わずかに抽出された二国語信号でさえも、効果的な精錬を導ける可能性を示唆している。
• 長さ不変性と中心不変性の両方の制約を組み合わせることで、同型性の仮定が成り立たない状況でも、より安定的かつ正確な二国語間整列が達成された。
• ほぼすべての評価対象言語ペアにおいて、ベンチマークデータセットで最先端の性能を達成した。これは、自己教師型精錬戦略の有効性を確認するものである。