[論文レビュー] Contrastive Learning of Emoji-based Representations for Resource-Poor Languages

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Apr 3, 2018

Natural Language Processing Techniques参考文献 21被引用数 5

ひとこと要約

本論文では、共通の埋め込み空間内での類似した絵文字を持つ文を整列させることで、リソースが乏しい言語（ヒンディ語、テルグ語）とリソースが豊富な言語（英語、スペイン語）の両方の表現を一括して学習する、シameseネットワークに基づく対照的学習フレームワークであるCESNAを提案する。絵文字に基づく教師信号と対照的損失関数を活用することで、共有パラメータを必要とせず、分布的意味論や語彙リスト、非整列な深層学習モデルに基づく手法よりも、絵文字予測の分野で最先端の性能を達成する。

ABSTRACT

The introduction of emojis (or emoticons) in social media platforms has given the users an increased potential for expression. We propose a novel method called Classification of Emojis using Siamese Network Architecture (CESNA) to learn emoji-based representations of resource-poor languages by jointly training them with resource-rich languages using a siamese network. CESNA model consists of twin Bi-directional Long Short-Term Memory Recurrent Neural Networks (Bi-LSTM RNN) with shared parameters joined by a contrastive loss function based on a similarity metric. The model learns the representations of resource-poor and resource-rich language in a common emoji space by using a similarity metric based on the emojis present in sentences from both languages. The model, hence, projects sentences with similar emojis closer to each other and the sentences with different emojis farther from one another. Experiments on large-scale Twitter datasets of resource-rich languages - English and Spanish and resource-poor languages - Hindi and Telugu reveal that CESNA outperforms the state-of-the-art emoji prediction approaches based on distributional semantics, semantic rules, lexicon lists and deep neural network representations without shared parameters.

研究の動機と目的

• リソースが乏しい言語における言語的リソースの制限に取り組むために、絵文字をクロスリンガルな教師信号として活用すること。
• 絵文字の類似性に基づいて、リソースが豊富な言語とリソースが乏しい言語の両方の文に対して、共有された低次元表現を学習すること。
• 言語間で共有のモデルパラメータを必要とせず、リソースが乏しい言語における絵文字予測の性能を向上させること。
• 絵文字に基づく対照的学習が、ゼロショットまたはフェイシュート設定において、言語間で知識を効果的に転送できることを示すこと。

提案手法

• リソースが乏しい言語とリソースが豊富な言語からの文を符号化するために、重みを共有する二重のBi-LSTM再帰ニューラルネットワークを採用する。
• 文のペア間の類似度を測る類似度指標に基づいた対照的損失関数を用いる。類似度が高いペアは、同じ絵文字を持つペアとして設定される。
• 損失関数は、同じ絵文字を持つ文の埋め込みを埋め込み空間内で近づけ、異なる絵文字を持つ文の埋め込みを遠ざけるように設計される。
• 訓練データは、英語、スペイン語、ヒンディ語、テルグ語からなる並列文のペアで構成され、それぞれの文にその対応する絵文字がアノテーションとして付与されている。
• モデルはすべての言語ペアを一括して学習することで、絵文字に基づく教師信号を通じて言語間の整列を可能にする。
• 最終的な表現空間では、共有埋め込み空間内での最近傍探索により、リソースが乏しい言語におけるゼロショットの絵文字予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 絵文字に基づく対照的学習は、リソースが乏しい言語とリソースが豊富な言語の間で文の表現を効果的に整列させることができるか？
• RQ2 リソースが豊富な言語と併用して学習させることで、リソースが乏しい言語における絵文字予測の性能が向上するか？
• RQ3 提案されたCESNAモデルは、分布的意味論、語彙リスト、非整列なニューラルネットワークに基づく最先端の手法と比較して、どのように異なるか？
• RQ4 絵文字の類似度は、リソースが乏しい状況において、意味的類似度の代理としてどの程度有効に機能するか？

主な発見

• CESNAは、共有パラメータを必要としない分布的意味論、意味的ルール、語彙リスト、深層ニューラルネットワークに基づく最先端の絵文字予測手法をすべて上回る。
• ヒンディ語とテルグ語における絵文字予測の正確性が著しく向上し、絵文字を介した言語間整列の有効性が実証された。
• 重みを共有するシameseネットワークを用いた対照的学習目的関数は、独立して学習されたモデルと比較して、リソースが乏しい状況における一般化性能を向上させる。
• 絵文字を教師信号として用いることで、並列単言語データを必要とせず、リソースが乏しい言語への効果的なゼロショット転移学習が可能になった。