[論文レビュー] Do We Really Need Fully Unsupervised Cross-Lingual Embeddings?

Ivan Vulić, Goran Glavašš+2 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 56被引用数 6

ひとこと要約

この論文は、完全に自己教師ありの翻訳言語間単語埋め込み（CLWE）手法の必要性に疑問を呈する。500〜1,000組のシード翻訳ペアを用いる弱教師ありアプローチが、210の言語対にわたって、最も頑健な自己教師ありCLWE手法でさえも一貫して上回ることを示している。著者らは、自己教師あり手法の真の強みは、監視なしに学習することにあるのではなく、高度な自己学習および前処理コンponentsにあり、これらは弱教師あり設定にも同様に適用可能であることを示している。

ABSTRACT

Recent efforts in cross-lingual word embedding (CLWE) learning have predominantly focused on fully unsupervised approaches that project monolingual embeddings into a shared cross-lingual space without any cross-lingual signal. The lack of any supervision makes such approaches conceptually attractive. Yet, their only core difference from (weakly) supervised projection-based CLWE methods is in the way they obtain a seed dictionary used to initialize an iterative self-learning procedure. The fully unsupervised methods have arguably become more robust, and their primary use case is CLWE induction for pairs of resource-poor and distant languages. In this paper, we question the ability of even the most robust unsupervised CLWE approaches to induce meaningful CLWEs in these more challenging settings. A series of bilingual lexicon induction (BLI) experiments with 15 diverse languages (210 language pairs) show that fully unsupervised CLWE methods still fail for a large number of language pairs (e.g., they yield zero BLI performance for 87/210 pairs). Even when they succeed, they never surpass the performance of weakly supervised methods (seeded with 500-1,000 translation pairs) using the same self-learning procedure in any BLI setup, and the gaps are often substantial. These findings call for revisiting the main motivations behind fully unsupervised CLWE methods.

研究の動機と目的

• 低リソース言語対および遠く離れた言語対において、完全に自己教師ありCLWE手法が本当に必要または効果的であるかどうかを評価すること。
• 多様な言語対において、二言語語彙インダクション（BLI）の文脈で、自己教師ありと弱教師ありCLWE手法の間の性能格差を調査すること。
• 自己教師ありCLWEの成功が、監視の欠如にあるのではなく、自己学習および前処理コンponentsに起因するかどうかを特定すること。
• 言語のタイプ的距離やドメイン不一致の下で、自己教師ありCLWE手法の頑健性を評価すること。
• 完全に自己教師あり手法から、最小限の監視を活用する手法への焦点のシフトを提唱すること

提案手法

• 15の多様な言語をカバーする210の言語対を対象に、大規模なBLI評価を実施し、自己教師ありと弱教師ありCLWE手法を比較した。
• 自己教師ありおよび弱教師ありの両設定において、同じ自己学習手順（C2）と前処理／後処理手順（C3）を用いて、シード辞書取得の影響を明確に分離した。
• 自己教師あり手法では、トップロジカル類似度を用いてシード辞書を抽出した（C1）。一方、弱教師あり手法では、500〜1,000組の翻訳ペアからなる手動で整備された小さなシード辞書を用いた。
• 単位長正規化、平均中心化、および（不）ホワイトニングといった標準的なCLWE技術を適用し、頑健性を向上させた。
• タイプ的距離やドメイン類似度が異なる言語対の間で性能を比較した。
• 結果の妥当性を検証するため、3つの言語対について標準的なMUSE BLIテストセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 完全に自己教師ありCLWE手法は、二言語語彙インダクションにおいて、弱教師あり手法と比較して優れた、あるいは少なくとも競合可能な性能を達成するか？
• RQ2 自己教師ありCLWE手法は、遠く離れた言語対やタイプ的に多様な言語対に対してどれほど頑健か？
• RQ3 自己教師ありCLWEの成功は、監視の欠如ではなく、自己学習および前処理コンponentsに起因する程度はどの程度か？
• RQ4 500〜1,000組の最小限の監視を用いる弱教師ありCLWE手法は、ドメイン不一致を伴う言語対を含め、すべての言語対で自己教師あり手法を上回ることができるか？
• RQ5 完全に自己教師ありCLWEに明確な用途があるのか、それともそのコアコンponentsを弱教師あり設定に効果的に移行できるのか？

主な発見

• 完全に自己教師ありCLWE手法は、210の言語対のうち87対で意味のある性能を達成できず、BLI性能はほぼゼロに近かった。
• 成功した場合でさえも、自己教師ありCLWE手法は、500〜1,000組のシード翻訳ペアを用いる弱教師あり手法の性能を上回ることはなかった。
• 自己学習手順（C2）と前処理／後処理（C3）コンponentsが、自己教師あり手法の頑健性を支えている要因であり、監視の欠如そのものではない。
• 500〜1,000組のシードペアを用いる弱教師あり手法は、210のすべての言語対で一貫して高い性能を示し、失敗は一切なかった。
• モノリンガル単語ベクトルがドメインが異なるコーパスで学習された場合、自己教師ありCLWEは完全に失敗し、データ分布の変化に極めて感受性があることが示された。
• 本研究で最も高い性能を示した手法、FULL+SL+SYMは、対称的最近傍フィルタリングを施した小さなシード辞書を用いており、完全な自己教師ありではなく、ノイズ除去されたシード語彙の利用がより効果的であることを示している。