[论文解读] Contrastive Learning of Emoji-based Representations for Resource-Poor Languages

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Apr 3, 2018

Natural Language Processing Techniques参考文献 21被引用 5

一句话总结

该论文提出CESNA，一种基于孪生网络的对比学习框架，通过在共享嵌入空间中对齐具有相似表情符号的句子，联合训练资源匮乏语言（印地语、泰卢固语）和资源丰富语言（英语、西班牙语）的表示。通过利用基于表情符号的监督信号和对比损失函数，CESNA在无共享参数的情况下实现了表情符号预测的最先进性能，优于基于分布语义、词典和非对齐深度学习模型的方法。

ABSTRACT

The introduction of emojis (or emoticons) in social media platforms has given the users an increased potential for expression. We propose a novel method called Classification of Emojis using Siamese Network Architecture (CESNA) to learn emoji-based representations of resource-poor languages by jointly training them with resource-rich languages using a siamese network. CESNA model consists of twin Bi-directional Long Short-Term Memory Recurrent Neural Networks (Bi-LSTM RNN) with shared parameters joined by a contrastive loss function based on a similarity metric. The model learns the representations of resource-poor and resource-rich language in a common emoji space by using a similarity metric based on the emojis present in sentences from both languages. The model, hence, projects sentences with similar emojis closer to each other and the sentences with different emojis farther from one another. Experiments on large-scale Twitter datasets of resource-rich languages - English and Spanish and resource-poor languages - Hindi and Telugu reveal that CESNA outperforms the state-of-the-art emoji prediction approaches based on distributional semantics, semantic rules, lexicon lists and deep neural network representations without shared parameters.

研究动机与目标

• 为解决低资源语言中语言资源有限的挑战，利用表情符号作为跨语言监督信号。
• 利用表情符号相似性，学习资源丰富语言和资源匮乏语言中文本的共享、低维表示。
• 在不需跨语言共享模型参数的情况下，提升低资源语言中的表情符号预测性能。
• 证明基于表情符号的对比学习可在零样本或少样本设置下有效实现跨语言知识迁移。

提出的方法

• 该模型采用具有共享权重的双层Bi-LSTM循环神经网络，对资源匮乏语言和资源丰富语言的句子进行编码。
• 其基于句子对之间的相似性度量，采用基于对比损失函数，其中共享相同表情符号的句子对被赋予高相似度。
• 损失函数促使具有相同表情符号的句子嵌入在嵌入空间中更接近，而具有不同表情符号的句子嵌入则更远。
• 训练数据由英语、西班牙语、印地语和泰卢固语的平行句子对组成，每对均标注有对应的表情符号。
• 模型在所有语言对上进行联合训练，通过基于表情符号的监督实现跨语言对齐。
• 最终的表示空间可通过在共享嵌入空间中进行最近邻搜索，实现在低资源语言上的零样本表情符号预测。

实验结果

研究问题

• RQ1 基于表情符号的对比学习能否有效对齐资源匮乏语言与资源丰富语言的句子表示？
• RQ2 与资源丰富语言联合训练是否能提升低资源语言中的表情符号预测性能？
• RQ3 所提出的CESNA模型与基于分布语义、词典和非对齐神经网络的最先进方法相比表现如何？
• RQ4 在低资源设置下，表情符号相似性在多大程度上可作为语义相似性的代理？

主要发现

• CESNA在基于分布语义、语义规则、词典列表和无共享参数的深度神经网络的最先进表情符号预测方法中表现更优。
• 该模型在印地语和泰卢固语中显著提升了表情符号预测准确率，证明了通过表情符号实现跨语言对齐的有效性。
• 与单独训练的模型相比，采用共享孪生网络的对比学习目标在低资源设置下展现出更好的泛化能力。
• 利用表情符号作为监督信号，可在无需并行单语数据的情况下，实现对低资源语言的有效零样本迁移学习。