[論文レビュー] LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space

Tasnim Mohiuddin, M Saiful Bari+1 more|arXiv (Cornell University)|Apr 28, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

LNMapは、独立して訓練された自己符号化器の潜在空間における非線形写像を学習することで、同型性仮定を回避する半教師付きの多言語埋め込み手法を提案する。1,000組のシードペアのみを用いても、従来の教師あり手法に比べて18%の絶対的向上を達成し、特に低リソース言語対および距離の遠い言語対で最先端の性能を発揮する。

ABSTRACT

Most of the successful and predominant methods for bilingual lexicon induction (BLI) are mapping-based, where a linear mapping function is learned with the assumption that the word embedding spaces of different languages exhibit similar geometric structures (i.e., approximately isomorphic). However, several recent studies have criticized this simplified assumption showing that it does not hold in general even for closely related languages. In this work, we propose a novel semi-supervised method to learn cross-lingual word embeddings for BLI. Our model is independent of the isomorphic assumption and uses nonlinear mapping in the latent space of two independently trained auto-encoders. Through extensive experiments on fifteen (15) different language pairs (in both directions) comprising resource-rich and low-resource languages from two different datasets, we demonstrate that our method outperforms existing models by a good margin. Ablation studies show the importance of different model components and the necessity of non-linear mapping.

研究の動機と目的

• 二言語語彙誘導（BLI）における線形写像手法の限界、すなわち言語埋め込み空間間の同型幾何的構造を仮定する点を是正すること。
• 特に低リソース言語および語源的に距離の遠い言語に対して、単語埋め込みの分布的不一致に強く対応できる手法を開発すること。
• 直交性や同型性といった強い仮定に依存せず、潜在空間における柔軟な非線形変換を可能にする。
• 再構成とバックトランスレーション制約によってガイドされた非線形写像が、線形またはプロクラステスベースの手法よりも優れた整合性を達成することを示すこと。

提案手法

• LNMapは、モノリンガル単語埋め込みに対して独立して非線形自己符号化器を訓練し、各言語の分離された潜在コード表現を学習する。
• 小さなシード辞書を用いて、潜在コード間の非線形写像を学習し、線形または直交制約を回避する。
• 二つの補助的制約を強制する：バックトランスレーション（潜在空間経由でターゲットからソースへマッピング）と元の埋め込み再構成による意味的忠実性の維持。
• 再構成、バックトランスレーション、整合性損失を統合した組み合わせ損失関数を用いて、非線形マッパーをエンドツーエンドで訓練する。
• 半教師付き手法として、豊富な意味的情報をモノリンガル事前学習から活用しつつ、監視に1,000組のシードペアのみを用いる。
• アブレーションスタディでは、線形と非線形自己符号化器およびマッパーの比較を行い、非線形性が低リソースおよび距離の遠い言語対において極めて重要であることが示される。

実験結果

リサーチクエスチョン

• RQ1 多言語埋め込み学習における同型性仮定を緩和することで、低リソースおよび距離の遠い言語対での性能向上が達成されるか？
• RQ2 自己符号化器の潜在空間における非線形写像は、線形またはプロクラステスベースの手法を上回る性能を発揮するか？
• RQ3 再構成とバックトランスレーション制約は、学習された多言語写像の頑健性と正確性にどのように寄与するか？
• RQ4 非線形写像による性能向上は、低リソースか高リソース言語設定のどちらでより顕著に現れるか？
• RQ5 非線形自己符号化器と非線形マッパーの相乗効果は、全体のフレームワークにおいてそれぞれどの程度の寄与をしているか？

主な発見

• LNMapは、低リソース言語対において、先行する教師あり手法（Joulin et al., 2018）に比べて平均18%の絶対的向上を達成し、1,000組のシードペアのみを用いる。
• 低リソース言語対において、LNMapは最も頑健な非教師あり手法（Artetxe et al., 2018b）を、ほとんどの翻訳タスクで上回る。
• アブレーションスタディでは、再構成損失が低リソース言語に対して最も重要であり、その除去により6.4%の精度低下が生じた。
• 非線形マッパーを線形マッパーに置き換えると、特に低リソース言語対で顕著な性能低下が生じ、非線形性の必要性が確認された。
• 高リソース言語では線形自己符号化器が非線形自己符号化器を上回るが、低リソース言語では逆に非線形自己符号化器が優れているため、異なる表現的ニーズが存在することが示された。
• バックトランスレーションと再構成損失の協調効果が検証され、両者とも整合性の質と頑健性に顕著な寄与をしていることが分かった。