[論文レビュー] Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization

Mozhi Zhang, Keyulu Xu+3 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 36被引用数 5

ひとこと要約

本稿では、反復的正規化（Iterative Normalization）を提案する。この手法は、文脈に依存しない単語埋め込みを変換し、各言語ごとに単位ベクトル長とゼロ平均を強制することで、非同型な言語対における多言語間のアライメントを向上させる。反復的正規化により、埋め込みが繰り返し正規化されることで、特に英語-日本語対において、2%から44%まで翻訳精度が著しく向上し、複数の最先端のマッピングベースの多言語埋め込み手法で顕著な改善が得られた。

ABSTRACT

Cross-lingual word embeddings (CLWE) underlie many multilingual natural language processing systems, often through orthogonal transformations of pre-trained monolingual embeddings. However, orthogonal mapping only works on language pairs whose embeddings are naturally isomorphic. For non-isomorphic pairs, our method (Iterative Normalization) transforms monolingual embeddings to make orthogonal alignment easier by simultaneously enforcing that (1) individual word vectors are unit length, and (2) each language's average vector is zero. Iterative Normalization consistently improves word translation accuracy of three CLWE methods, with the largest improvement observed on English-Japanese (from 2% to 44% test accuracy).

研究の動機と目的

• 元言語と標的言語のベクトル空間構造が非同型である場合に、多言語間単語埋め込みをアライニングする課題に対処すること。
• 埋め込みが長さ不変性および中心不変性を欠いている場合、直交多言語マッピングが失敗することを特定すること。
• 長さ不変性と中心不変性を同時に満たす前処理手法を開発し、直交アライメントのための適合性を向上させること。
• 提案手法が、直交および非直交マッピングを含む多様な多言語埋め込みフレームワークにおいて性能向上を示すことを実証すること。
• 正規化が文脈に依存しない意味的構造を保持する一方で、より良い多言語アライメントを可能にすることを検証すること。

提案手法

• 交互射影アルゴリズムを用い、反復的に文脈に依存しない単語埋め込みを正規化し、以下の2つの制約を満たすようにする：(1) 全ての単語ベクトルが単位長である、(2) 各言語の平均ベクトルがゼロである。
• アルゴリズムは、ベクトル長の正規化と平均の中心化を交互に繰り返し、両条件を同時に満たす解に収束する。
• 本手法は、背後にある多言語マッピング手法に依存しないように設計されており、Procrustes解析、リファインメント、および緩和化cslsと互換性がある。
• 正規化は任意のマッピングステップの前に行われ、文脈に依存しない埋め込みを変換し、直交変換に適した形に変換する。
• 長さ不変性と中心不変性が直交アライメントの可能性を向上させることを示す理論的分析に基づいている。
• 収束保証付きの反復的プロセスとして実装されており、コードは公開済み。

実験結果

リサーチクエスチョン

• RQ1 文脈に依存しない単語埋め込みの前処理によって、非同型な言語対における多言語間埋め込みアライメントを改善できるか？
• RQ2 各言語ごとに単位ベクトル長とゼロ平均を強制することで、直交多言語マッピング手法の性能が向上するか？
• RQ3 反復的正規化は、次元ごとの平均中心化と長さ正規化といった標準的な正規化手法と比べてどのように異なるか？
• RQ4 提案手法は直交マッピングに限らず、緩和化cslsのような非直交手法に対しても性能向上をもたらすか？
• RQ5 正規化プロセスが文脈に依存しない単語埋め込みの意味的構造をどの程度効果的に保持するか？

主な発見

• 英語-日本語対において、反復的正規化により単語翻訳精度が2%から44%まで向上し、全39の言語対の中で最大の向上を示した。
• 本手法は、Procrustes解析、リファインドProcrustes、および緩和化cslsという3つの異なる多言語埋め込み手法において、一貫して翻訳精度を向上させた。
• 非直交手法（例：緩和化csls）に対しても反復的正規化が性能向上をもたらすことは、長さ不変性と中心不変性が広範なアライメント手法に利益をもたらすことを示している。
• 標準的な正規化（平均中心化 + 長さ正規化）は僅かな向上しかもたらさないため、一回のパスでは不十分であり、反復的精錬の有効性が確認された。
• 文脈に依存しない単語類似度ベンチマーク（ws-353, mc, rg, yp-130）では、正規化後も最小限の性能低下が観察され、有用な意味的構造が保持されていることが示された。
• 本手法は多様な言語対で有効であり、元の埋め込み空間の構造が著しく異なる場合でも、顕著なアライメント向上をもたらした。