[論文レビュー] Filtered Inner Product Projection for Crosslingual Embedding Alignment

Vin Sachidananda, Ziyi Yang+1 more|arXiv (Cornell University)|Jun 5, 2020

Topic Modeling参考文献 61被引用数 8

ひとこと要約

本稿では、類似した埋め込み間距離を持つ語対のフィルタリングされた集合上で、元の埋め込みのグラム行列を一致させることで、ソース言語とターゲット言語の埋め込み間の共有された幾何構造を保つことに焦点を当てた、クロスリンガル埋め込み整合化のための新規手法「フィルタリング内積射影（FIPP）」を提案する。FIPPは、XLING（1Kおよび5K）の二国語語彙誘導ベンチマークで最先端の性能を達成し、下流タスクにおいても頑健性を示し、Procrustes や CSLS といった先行手法を上回るが、計算効率も高い。

ABSTRACT

Due to widespread interest in machine translation and transfer learning, there are numerous algorithms for mapping multiple embeddings to a shared representation space. Recently, these algorithms have been studied in the setting of bilingual dictionary induction where one seeks to align the embeddings of a source and a target language such that translated word pairs lie close to one another in a common representation space. In this paper, we propose a method, Filtered Inner Product Projection (FIPP), for mapping embeddings to a common representation space and evaluate FIPP in the context of bilingual dictionary induction. As semantic shifts are pervasive across languages and domains, FIPP first identifies the common geometric structure in both embeddings and then, only on the common structure, aligns the Gram matrices of these embeddings. Unlike previous approaches, FIPP is applicable even when the source and target embeddings are of differing dimensionalities. We show that our approach outperforms existing methods on the MUSE dataset for various language pairs. Furthermore, FIPP provides computational benefits both in ease of implementation and scalability.

研究の動機と目的

• ソース言語とターゲット言語の埋め込みの次元が異なる状況でのクロスリンガル単語埋め込みの整合化を解決すること。
• 標準的な埋め込み整合化手法が歪ませる、言語間での意味的シフトの影響を軽減すること。
• シード辞書に過剰適合しないように、埋め込みの内在的幾何的構造を保つこと。
• 既存の手法よりも高速で容易に実装できる、計算的に効率の良い手法を開発すること。

提案手法

• FIPPは、元のソース埋め込みのグラム行列構造を保つ射影を用いて、ソース埋め込み $\mathfrak{X}_s \in \mathbb{R}^{n \times d_1}$ をターゲット空間 $\mathbb{R}^{d_2}$ にマッピングする。
• FIPPは、ソースとターゲット埋め込みにおけるペアワイズ距離が類似している語対のフィルタリングされた集合 $K$ を特定する。これは $|X_s X_s^T - X_t X_t^T|_{ij} \leq \epsilon$ で定義される。
• FIPPは、元のソース埋め込みの構造的類似性を維持するため、再構成誤差 $\|\tilde{X}_s \tilde{X}_s^T - X_s X_s^T\|_F^2$ を最小化する。
• さらに、フィルタリングされた集合 $K$ において、転送誤差 $\sum_{(i,j)\in K} (\tilde{X}_s[i]\tilde{X}_s[j]^T - X_t[i]X_t[j]^T)^2$ を最小化することで、共有空間における距離を一致させる。
• この方法は、再構成誤差と転送誤差の両方を同時に最適化することで、$d_1 \neq d_2$ の場合でも整合化を可能にする。
• FIPPは射影の閉形式解を用いるため、反復的最適化と比較して高速かつ簡便に実装可能である。

実験結果

リサーチクエスチョン

• RQ1 クロスリンガル埋め込みにおける共有された幾何的構造に焦点を当てた手法が、標準的な距離最小化アプローチを上回ることができるか？
• RQ2 ペアワイズ距離が類似している語対をフィルタリングすることで、意味的シフトに起因する歪みに対し、整合化の頑健性がどのように向上するか？
• RQ3 FIPPは、高い整合化精度を達成しつつ、ソース埋め込みの構造的忠実性をどの程度保てるか？
• RQ4 FIPPは、Procrustes や CSLS といった既存手法と比較して、小規模および大規模なシード辞書設定の両方で優れた性能を発揮するか？
• RQ5 FIPPは、先行の最先端手法よりも計算的に効率的であるか？

主な発見

• FIPPは、CSLSの検索を用いて、XLING 5K BLI データセットで平均平均精度（MAP）0.473を達成し、Procrustes（0.454）や以前の最先端手法を上回った。
• XLING 1K BLI データセットでは、CSLSを用いてMAP 0.387を達成し、Procrustes（0.350）を上回り、優れた一般化性能を示した。
• FIPPは、低リソース言語や語彙的に複雑な言語を含む多様な言語ペアにおいても、一貫したベースライン上回る性能を示した。
• 1Kおよび5Kのシード辞書設定の両方で最先端の結果を達成しており、強力なスケーラビリティと一般化能力を示している。
• FIPPは、反復的最適化に比べて閉形式解を用いるため、実装が高速かつ容易であり、性能を損なわず計算上の利点を有している。
• CSLSを検索基準として用いることで、FIPPおよびProcrustesの両方の性能が著しく向上し、FIPPは5KデータセットでNearest Neighborsに比べ0.031の改善を示した。