[論文レビュー] Learning Cross-lingual Embeddings from Twitter via Distant Supervision

José Camacho-Collados, Yerai Doval+4 more|arXiv (Cornell University)|May 17, 2019

Topic Modeling参考文献 49被引用数 4

ひとこと要約

この論文は、ツイッターのデータにおける同一トークン（例：コードスイッチされた語、数字、絵文字）のベクトルを複数言語で平均化することで、クロスリンガル単語埋め込みを整列させるシンプルな事後処理手法を提案する。ソーシャルメディアのテキストにかかわらずノイズが多いため、この手法は最先端のクロスリンガル埋め込みモデルを顕著に改善し、ゼロショットクロスリンガルセンチメント分析で最大80％の正確性を達成し、一部のケースでは40％以上の性能向上を実現する。

ABSTRACT

Cross-lingual embeddings represent the meaning of words from different languages in the same vector space. Recent work has shown that it is possible to construct such representations by aligning independently learned monolingual embedding spaces, and that accurate alignments can be obtained even without external bilingual data. In this paper we explore a research direction that has been surprisingly neglected in the literature: leveraging noisy user-generated text to learn cross-lingual embeddings particularly tailored towards social media applications. While the noisiness and informal nature of the social media genre poses additional challenges to cross-lingual embedding methods, we find that it also provides key opportunities due to the abundance of code-switching and the existence of a shared vocabulary of emoji and named entities. Our contribution consists of a very simple post-processing step that exploits these phenomena to significantly improve the performance of state-of-the-art alignment methods.

研究の動機と目的

• 外部の双語監視なしに、ノイズの多いユーザー生成のツイッター文書から直接高品質なクロスリンガル単語埋め込みを学習する可能性を検討すること。
• コードスイッチ、数字、絵文字のような共有語彙的現象が、低リソースで多言語のソーシャルメディア環境において、自然な整列シグナルとして機能するかどうかを調査すること。
• 同一トークンを活用してクロスリンガル埋め込み品質を向上させる軽量な事後処理手法を開発・評価すること。
• 特に低リソース言語において、単語翻訳やゼロショットクロスリンガルセンチメント分析のような下流タスクにおけるこのアプローチの有効性を示すこと。
• 英語、スペイン語、イタリア語、ドイツ語、ペルシャ語、フィンランド語、および日本語の事前学習済み単言語およびクロスリンガル埋め込みを提供し、広範な研究利用を促進すること。

提案手法

• 本手法は、複数言語の単言語ツイッターコーパス上で学習された最先端の自己教師付きクロスリンガル埋め込みモデル（例：VecMap）を出発点とする。
• 同一トークン（例：共有語、数字、絵文字）を複数言語間で特定し、初期の単語ベクトルを平均化することで、共有埋め込み空間内での整列を実現する事後処理ステップを導入する。
• 異なるタイプの同一トークン（例：語 vs. 絵文字）に異なる重要度を割り当てることで、信頼性と頻度に基づいた重み付き事後処理戦略を採用する。
• 初期整列の後に適用されるため、任意の既存の自己教師付きクロスリンガルマッピング手法と互換性がある。
• 多言語ツイッターにおけるコードスイッチと共有語彙の多さを活用し、これらを暗黙の教師信号として扱う。
• 最終的な埋め込みは、ターゲット言語に訓練データを一切使用しないゼロショット転送を用いた単語翻訳およびクロスリンガルセンチメント分析で評価される。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いユーザー生成のソーシャルメディアテキスト（例：ツイッター）は、外部の双語監視なしに、高品質なクロスリンガル単語埋め込みを学習するために効果的に利用可能か？
• RQ2 数字、絵文字、コードスイッチ語のような共有トークンが、クロスリンガル埋め込み学習において信頼できる整列シグナルとしてどの程度機能するか？
• RQ3 同一トークンのベクトル平均に基づくシンプルな事後処理戦略が、最先端の自己教師付きクロスリンガル整列手法の性能をどの程度向上させるか？
• RQ4 このアプローチは、特にペルシャ語のような低リソース言語において、強いゼロショットパフォーマンスを達成できるか？
• RQ5 性能向上は使用する共有トークンの種別（例：語 vs. 絵文字）に依存するか？また、これらのタイプに重みを付けることで結果が向上するか？

主な発見

• 提案された事後処理手法は、ターゲット言語にラベル付きデータを一切使用しない状況でも、最先端の手法と比較して複数のケースで単語翻訳およびセンチメント分析の性能を40％以上向上させる。
• ゼロショットクロスリンガルセンチメント分析において最大80％の正確性を達成し、英語とペルシャ語のような言語間でも強力な転送性を示す。
• すべての同一トークン（語、数字、絵文字を含む）の辞書を用いることで、全言語および全タスクで一貫して最高の結果が得られ、ほとんどのケースで個々のトークンタイプよりも優れている。
• 重み付き事後処理戦略は、共有トークンの多様性を効果的に活用しており、すべての同一トークンが整列品質に同等に寄与するわけではないことが示された。
• 英語-ペルシャ語のような距離の遠い言語対においても、本手法は整列性能を顕著に向上させるが、非常に相違する言語間では課題が残っている。
• アブレーションスタディにより、共有語（相互言語的同形語）がパフォーマンス向上に最も寄与することが確認されたが、数字や絵文字のみでも多くの状況で顕著な向上が得られた。