[论文解读] Emoji-Powered Representation Learning for Cross-Lingual Sentiment Classification

Zhenpeng Chen, Sheng Shen+4 more|arXiv (Cornell University)|Jun 7, 2018

Sentiment Analysis and Opinion Mining参考文献 79被引用 6

一句话总结

本文提出 ELSA，一种新颖的基于表情符号的表示学习框架，利用表情符号作为替代情感标签和训练信号，以学习跨语言及语言特定的情感表征。通过在多语言推文上联合训练表情符号预测任务，ELSA 提升了跨语言情感分类性能，在标注数据有限的情况下仍达到最先进结果，尤其在法语和德语数据集上显著优于基于翻译的基线模型。

ABSTRACT

Sentiment classification typically relies on a large amount of labeled data. In practice, the availability of labels is highly imbalanced among different languages, e.g., more English texts are labeled than texts in any other languages, which creates a considerable inequality in the quality of related information services received by users speaking different languages. To tackle this problem, cross-lingual sentiment classification approaches aim to transfer knowledge learned from one language that has abundant labeled examples (i.e., the source language, usually English) to another language with fewer labels (i.e., the target language). The source and the target languages are usually bridged through off-the-shelf machine translation tools. Through such a channel, cross-language sentiment patterns can be successfully learned from English and transferred into the target languages. This approach, however, often fails to capture sentiment knowledge specific to the target language, and thus compromises the accuracy of the downstream classification task. In this paper, we employ emojis, which are widely available in many languages, as a new channel to learn both the cross-language and the language-specific sentiment patterns. We propose a novel representation learning method that uses emoji prediction as an instrument to learn respective sentiment-aware representations for each language. The learned representations are then integrated to facilitate cross-lingual sentiment classification. The proposed method demonstrates state-of-the-art performance on benchmark datasets, which is sustained even when sentiment labels are scarce.

研究动机与目标

• 为解决跨语言情感标注数据不平衡问题，特别是非英语语言中标注样本稀缺的问题。
• 克服基于机器翻译的跨语言情感分类方法的局限性，后者常无法保留语言特有的情感表达。
• 利用表情符号在跨语言中的普遍性作为共享情感信号，以学习通用及语言特定的情感表征。
• 开发一种自监督表示学习方法，通过表情符号预测提升跨语言情感分类性能，而无需依赖大规模平行语料。
• 证明基于表情符号的监督可优于传统方法，尤其在标注数据稀缺时表现更优。

提出的方法

• 该方法引入多任务学习框架，将表情符号预测作为自监督信号，用于训练共享和语言特定的文本编码器。
• 采用类似 Siamese 的架构，联合学习多语言句子表征，为源语言和目标语言分别设置独立编码器。
• 模型在大规模多语言推文上进行预训练，以表情符号预测作为情感的代理信号，使其在无需显式情感标签的情况下学习到情感感知表征。
• 预训练完成后，模型在目标语言的小规模标注数据上进行微调，利用学习到的表征完成下游情感分类任务。
• 框架使用词嵌入和基于 CNN 的架构提取上下文特征，再进行表情符号预测和分类头计算。
• 通过联合优化表情符号预测和情感分类任务，实现跨语言对齐与语言特定适应的结合。

Figure 1. The workflow of ELSA.

实验结果

研究问题

• RQ1 表情符号能否作为多种语言中情感的可靠代理，以改善跨语言表示学习？
• RQ2 将表情符号预测作为自监督信号，是否能在低资源情感分类任务中优于基于翻译的方法？
• RQ3 该模型在保持跨语言迁移能力的同时，能在多大程度上捕捉语言特定的情感模式？
• RQ4 随着标注数据量减少，该表情符号驱动方法的性能如何变化？
• RQ5 在数据稀缺条件下，该模型能否超越现有最先进方法在跨语言情感分类任务中的表现？

主要发现

• ELSA 在法语推文上的测试准确率达到 0.696，在德语推文上的准确率达到 0.809，显著优于基线模型 MT-CNN 的 0.535 和 0.654。
• 根据 McNemar 检验，ELSA 在法语和德语上的性能提升均具有统计显著性（p < 0.05）。
• 即使在标注数据有限的情况下，ELSA 仍保持强劲性能，展现出在低资源环境下的鲁棒性。
• ELSA 显著优于随机猜测基线（法语为 0.451，德语为 0.628），表明其学习效果超越了随机概率。
• 尽管仅使用 8100 万条原始推文和 1370 万条含表情符号的推文（少于先前工作使用的 3 亿条原始推文），ELSA 仍取得更优结果，表明其具有更高的数据效率。
• 结果表明，基于表情符号的自监督机制比基于翻译的方法更有效地捕捉通用和语言特定的情感模式。

Figure 2. Network architecture for representation learning through emoji prediction.