[論文レビュー] Analyzing the Limitations of Cross-lingual Word Embedding Mappings

Aitor Ormazabal, Mikel Artetxe+3 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 21被引用数 6

ひとこと要約

この論文は、同一の条件で平行コーパスを用いて、統合学習とオフラインマッピングの両方を用いた多言語埋め込みの比較を行う。統合学習は、より一様な埋め込みを生成し、ハブネス感受性を低減し、二語語彙誘導においてマッピング手法を上回ることを明らかにした。これは、低監視要件を有する現在のマッピング手法に内在的な制限があることを示している。

ABSTRACT

Recent research in cross-lingual word embeddings has almost exclusively focused on offline methods, which independently train word embeddings in different languages and map them to a shared space through linear transformations. While several authors have questioned the underlying isomorphism assumption, which states that word embeddings in different languages have approximately the same structure, it is not clear whether this is an inherent limitation of mapping approaches or a more general issue when learning cross-lingual embeddings. So as to answer this question, we experiment with parallel corpora, which allows us to compare offline mapping to an extension of skip-gram that jointly learns both embedding spaces. We observe that, under these ideal conditions, joint learning yields to more isomorphic embeddings, is less sensitive to hubness, and obtains stronger results in bilingual lexicon induction. We thus conclude that current mapping methods do have strong limitations, calling for further research to jointly learn cross-lingual embeddings with a weaker cross-lingual signal.

研究の動機と目的

• 多言語単語埋め込みマッピングの背後にある一様性仮定が、マッピング手法自体の制限であるのか、それとも言語的乖離に起因する一般問題であるのかを特定すること。
• 平行コーパスを用いて、同一の訓練条件下で統合学習とオフラインマッピング手法を比較すること。
• 言語的およびタイプロジカルな差が、埋め込みの一様性、ハブネス、および二語語彙誘導のパフォーマンスに与える影響を評価すること。
• 観察されたマッピング手法の制限が、アプローチそのものに起因するのか、それとも単語埋め込みの別個訓練に起因するのかを評価すること。

提案手法

• 各言語について、モノリンガルコーパス上でword2vecを用いて300次元のスキップグラム単語埋め込みを訓練した。
• 無教師のVecMapを適用して、線形変換によりモノリンガル埋め込みを共有空間にマッピングした。
• スキップグラムモデルを拡張し、平行文ペアを用いて多言語埋め込みを統合的に訓練した。
• 言語固有の埋め込み空間間の一様性を測るため、固有値類似度を用いて評価した。
• ハブネスは、すべてのクエリに対して頻繁に出現する近隣の数を測定することで評価した。
• ハブネスを低減するためにCSLS（クロスモーダル類似度学習）を適用し、両手法に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 同じ平行コーパスで訓練された場合、統合学習はオフラインマッピングよりも一様性の高い多言語埋め込み空間を生成するか？
• RQ2 言語的およびタイプロジカルな差（例：フィンランド語-英語）は、マッピングと統合学習のパフォーマンスと耐性にどのように影響するか？
• RQ3 ハブネスは、マッピング手法に対して、統合学習よりも深刻な問題であるとどの程度考えられるか？
• RQ4 CSLSは、マッピング設定と統合学習設定のどちらにおいても、ハブネスをより効果的に軽減できるか？
• RQ5 理想的な条件下で、統合学習はオフラインマッピングよりも二語語彙誘導でより高いパフォーマンスを達成できるか？

主な発見

• 統合学習は、オフラインマッピングよりも顕著に一様性の高い埋め込み空間を生成し、言語ペア間で固有値類似度が26.5から32.8の範囲にわたって変動した。
• マッピング手法は、フィンランド語-英語ペアにおいて、26.5と他のペア（30.0–32.8）と比較して顕著に低い一様性を示し、タイプロジカルな乖離に感受性があることを示した。
• 統合学習はハブネスに対して感受性が低く、特にフィンランド語-英語ペアでハブネスの差が最大であった。
• オフラインマッピングはCSLSの恩恵を大きく受け、ハブネスが低減したが、統合学習ではベースラインのハブネスが低いため、CSLSが逆効果となった。
• 二語語彙誘導において、統合学習はオフラインマッピングを上回り、Eparlデータセットにおけるフィンランド語-英語ペアの最近傍探索による正確度は26.3%対65.2%であった。
• 結果から、マッピング手法に観察された制限は、アプローチそのものに起因するものであり、多言語表現学習の一般的問題ではないと考えられる。