[論文レビュー] Learning Unsupervised Word Mapping by Maximizing Mean Discrepancy

Pengcheng Yang, Fuli Luo+4 more|arXiv (Cornell University)|Nov 1, 2018

Topic Modeling参考文献 26被引用数 10

ひとこと要約

本稿では、複雑な交互最適化を必要とせず、ソース言語とターゲット言語の単語埋め込み分布を直接最大化することで、最大平均差分（MMD）を用いた新しい非教師あり単語マッピング手法を提案する。MMDを非パラメトリックな指標として活用し、初期化に構造的類似性を組み込むことで、二国語語彙誘導およびクロスリンガル類似性タスクで最先端の性能を達成し、従来の非教師ありベースラインを顕著に上回る。

ABSTRACT

Cross-lingual word embeddings aim to capture common linguistic regularities of different languages, which benefit various downstream tasks ranging from machine translation to transfer learning. Recently, it has been shown that these embeddings can be effectively learned by aligning two disjoint monolingual vector spaces through a linear transformation (word mapping). In this work, we focus on learning such a word mapping without any supervision signal. Most previous work of this task adopts parametric metrics to measure distribution differences, which typically requires a sophisticated alternate optimization process, either in the form of \emph{minmax game} or intermediate \emph{density estimation}. This alternate optimization process is relatively hard and unstable. In order to avoid such sophisticated alternate optimization, we propose to learn unsupervised word mapping by directly maximizing the mean discrepancy between the distribution of transferred embedding and target embedding. Extensive experimental results show that our proposed model outperforms competitive baselines by a large margin.

研究の動機と目的

• 非教師あり単語マッピングにおける交互最適化の不安定さと複雑さ、特にミニマックスゲームや密度推定の文脈での課題を解決すること。
• 並列単語語彙や並列二国語語彙データを一切必要とせず、非教師ありクロスリンガル単語埋め込みの整合性を高め、そのロバスト性と性能を向上させること。
• 単語埋め込みの構造的類似性を用いた事前知識を組み合わせることで、初期化への感受性を低減すること。
• 中間の密度推定を必要としない非パラメトリックな代替指標として、パラメトリックな分布マッチング指標の安定的代替を提供すること。
• 単語埋め込みの事前学習済み単語埋め込みのみを用いて、教師あり手法と同等の性能を達成すること。

提案手法

• 本手法は、転送されたソース埋め込み分布とターゲット埋め込み分布の間のMMDを最大化することで、単語マッピングを最適化問題として定式化する。
• MMDは、密度推定を必要とせず、ガウスカーネルを用いて再生核ヒルバート空間（RKHS）で計算される。
• 最適化は、ベクトルのノルムを保存する orthogonal 行列の上での最適化として実行され、先行研究による理論的裏付けがある等長変換が保証される。
• 収束の問題を軽減するために、単語埋め込み間の構造的類似性を用いたウォームアップ初期化が学習される。
• 学習率 0.0003 で確率的勾配降下法を用いてエンドツーエンドで訓練され、エポックごとに学習率を半分にし、非教師あり評価基準に基づいた早期停止が適用される。
• 初期化後に、さらに整合性を向上させるためにリファインメントステップが適用される。

実験結果

リサーチクエスチョン

• RQ1 MMDに基づく分布マッチングは、密度推定を必要とせず、非パラメトリックな代替指標として非教師あり単語マッピングに安定的に適用可能か？
• RQ2 交互最適化（例：ミニマックスや密度推定）を回避することで、非教師あり単語マッピングにおける学習の安定性と有効性が向上するか？
• RQ3 MMDと構造的類似性に基づく初期化の組み合わせは、収束性と性能の向上にどの程度有効か？
• RQ4 非教師あり手法は、どの程度教師ありベースラインに匹敵する性能を達成できるか？
• RQ5 既存手法がレアワードで困難を抱える理由は何か？MMDベースの整合性マッピングはこの問題を緩和できるか？

主な発見

• 提案手法は、二国語語彙誘導タスクで最先端の性能を達成し、EN-ES で 79.93% の精度を記録し、すべての非教師ありベースラインを上回った。
• クロスリンガル単語類似性予測タスクでは、EN-IT でピアソン相関係数 0.72 を達成し、すべての非教師ありベースラインを上回り、教師あり手法と同等の性能を示した。
• アブレーションスタディの結果、初期化が極めて重要であることが判明した。初期化なしではモデルが収束しなかったため、ウォームスタート戦略の重要性が示された。
• リファインメントステップが性能を顕著に向上させたことから、繰り返しのリファインメントが初期MMD最適化を上回る整合性向上に寄与することがわかった。
• MMDマッチングコンponentを単体で用いることで、その除去と比較して性能低下を 8.3% 減少させた。これにより、最適化のガイドラインとしてMMDが果たす中心的役割が裏付けられた。
• 誤差解析の結果、レアワードは依然として課題であり、低品質な単語埋め込みが原因で、モデルは共通語彙対に対して比べてレアワード対の性能が著しく劣ることが明らかになった。