[論文レビュー] Cross-lingual Models of Word Embeddings: An Empirical Comparison

Shyam Upadhyay, Manaal Faruqui+2 more|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 34被引用数 44

ひとこと要約

本稿では、4つの言語対（英仏、英独、英スペ、英アラビア語）と複数の内在的・外在的タスクを用いて、異なる水準の対言語的監視を要する4つのクロスリンガル単語埋め込みモデル—BiSkip、BiCVM、BiCCA、BiVCD—の体系的で実証的な比較を提示する。主な発見は、高コストの監視（例：単語・文のアライメント）を用いるモデルが意味的タスクで優れた性能を示す一方、安価な監視（例：二言語語彙対照辞書や類似文書）を用いるモデルは、依存解析のような構文的タスクでしばしば競争力を持つことである。

ABSTRACT

Despite interest in using cross-lingual knowledge to learn word embeddings for various tasks, a systematic comparison of the possible approaches is lacking in the literature. We perform an extensive evaluation of four popular approaches of inducing cross-lingual embeddings, each requiring a different form of supervision, on four typographically different language pairs. Our evaluation setup spans four different tasks, including intrinsic evaluation on mono-lingual and cross-lingual similarity, and extrinsic evaluation on downstream semantic and syntactic applications. We show that models which require expensive cross-lingual knowledge almost always perform better, but cheaply supervised models often prove competitive on certain tasks.

研究の動機と目的

• 内在的および外在的タスクを横断して、クロスリンガル単語埋め込みモデルの体系的かつ偏りのない評価を提供すること。
• 単語・文のアライメントから二言語語彙対照辞書や類似文書まで、異なる形態の対言語的監視を要するモデルを比較すること。
• 監視の形態が、単言語およびクロスリンガル類似性、文書分類、依存解析の各タスクにおける性能に与える影響を評価すること。
• 異なるクロスリンガル埋め込み手法を、明確な比較が可能な共通のアルゴリズム的フレームワークに統合すること。
• 特定のNLPタスクにおいて、コストと性能のトレードオフを最もよく満たす監視タイプを同定すること。

提案手法

• 4つのクロスリンガル単語埋め込みモデルを学習：BiSkip（単語アライメント済み並列コーパス）、BiCVM（文アライメント済みコーパス）、BiCCA（二言語語彙対照辞書）、BiVCD（類似文書）。
• 単語分布損失と対言語アライメント損失の両方を同時に最小化する統一された最適化フレームワークを採用し、埋め込みを共同で学習する。
• BiSkipでは単語レベルのアライメント監視、BiCVMでは文レベルのアライメント監視を適用し、言語間のベクトル空間をアライメントする。
• BiCCAでは、二言語辞書を用いてコインスクリーショナルコアレーション（CCA）を適用し、翻訳ペア間の距離を最小化することで単語ベクトルをアライメントする。
• BiVCDでは、明示的なアライメントを必要とせず、文書レベルの類似性を活用して、言語固有のベクトルを類似する文のペアに基づいてアライメントする。
• 4つのタスクでモデルを評価：単言語およびクロスリンガル単語類似性、クロスリンガル文書分類、クロスリンガル依存解析。

実験結果

リサーチクエスチョン

• RQ1 異なる形態の対言語的監視が、内在的および外在的タスクにおける誘導された単語埋め込みの質にどのように影響するか？
• RQ2 意味的タスク（例：クロスリンガル文書分類、単語類似性）において、どの監視タイプが最高のパフォーマンスを示すか？
• RQ3 より弱い監視（例：二言語語彙対照辞書）を用いるモデルと、より強い監視（例：単語アライメント）を用いるモデルとを、構文的タスク（例：依存解析）において比較するとどうなるか？
• RQ4 監視の形態が、共有ベクトル空間内での翻訳ペアや意味的に類似する語の幾何的近接性にどの程度影響を与えるか？
• RQ5 多様なクロスリンガル埋め込みモデルを公平に比較可能にするために、統一されたアルゴリズム的フレームワークを用いることができるか？

主な発見

• 高コストの監視を要するモデル（例：単語アライメントを用いるBiSkip）は、文書分類や単語類似性といったクロスリンガル意味的タスクで、一貫して他のモデルを上回る性能を示した。
• クロスリンガル文書分類タスクにおいて、BiSkipは英仏語対でF1スコア85.2%を達成し、単言語ベースラインを顕著に上回った。
• クロスリンガル依存解析においては、BiCCA や BiVCD といった安価な監視を用いるモデルが、BiSkip とほぼ同等の性能を示した。特に BiVCD は英仏語対で78.1%のUASを達成した。
• PCAの可視化から、BiSkip と BiCVM は翻訳ペア間のベクトル近接性が最も高かった。これは、強いアライメント信号によるものである。
• BiCCA と BiVCD は、反意語（例：平和／戦争）をより明確に分離できたが、BiSkip と BiCVM は並列文内での共起性のため、それらをより密接にグループ化していた。
• 単言語単語類似性タスクでは、BiVCD と BiCCA が BiSkip と2〜3ポイント以内の性能を達成しており、最小限の監視でも強力な一般化能力を示した。