[论文解读] Emotions are Universal: Learning Sentiment Based Representations of Resource-Poor Languages using Siamese Networks

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Apr 3, 2018

Sentiment Analysis and Opinion Mining参考文献 25被引用 4

一句话总结

该论文提出SNASA，一种使用共享Bi-LSTM编码器和对比损失的孪生网络架构，通过与资源丰富语言（英语、西班牙语）联合训练，学习资源匮乏语言（印地语、泰卢固语）的情感对齐表征。通过将语义情感相似的句子在共享嵌入空间中投影得更近，SNASA在无需大量词典或平行数据的情况下，在情感分析任务上实现了最先进性能。

ABSTRACT

Machine learning approaches in sentiment analysis principally rely on the abundance of resources. To limit this dependence, we propose a novel method called Siamese Network Architecture for Sentiment Analysis (SNASA) to learn representations of resource-poor languages by jointly training them with resource-rich languages using a siamese network. SNASA model consists of twin Bi-directional Long Short-Term Memory Recurrent Neural Networks (Bi-LSTM RNN) with shared parameters joined by a contrastive loss function, based on a similarity metric. The model learns the sentence representations of resource-poor and resource-rich language in a common sentiment space by using a similarity metric based on their individual sentiments. The model, hence, projects sentences with similar sentiment closer to each other and the sentences with different sentiment farther from each other. Experiments on large-scale datasets of resource-rich languages - English and Spanish and resource-poor languages - Hindi and Telugu reveal that SNASA outperforms the state-of-the-art sentiment analysis approaches based on distributional semantics, semantic rules, lexicon lists and deep neural network representations without sh

研究动机与目标

• 减少在低资源语言情感分析中对大规模标注数据集的依赖。
• 实现在资源丰富语言与资源匮乏语言之间的跨语言情感表征迁移。
• 在无需平行语料或大量词典的情况下，学习共享的情感对齐句子嵌入。
• 通过统一的对比学习框架，提升低资源语言的情感分类性能。
• 通过共享表征学习验证情感表达在语言间的普遍性。

提出的方法

• 该模型采用参数共享的双层Bi-LSTM编码器，将资源丰富语言和资源匮乏语言的句子编码为密集向量表征。
• 使用对比损失函数通过最小化相同情感句子对之间的距离、最大化不同情感句子对之间的距离来优化模型。
• 相似度度量基于句子嵌入之间的余弦距离，促使语义相似的句子在共享嵌入空间中聚类。
• 训练数据由多语言的句子对构成，情感标签用于定义正样本对与负样本对。
• 共享架构使模型能够在低资源语言训练数据有限的情况下，泛化其情感表征能力。
• 最终的句子表征用于下游情感分类任务。

实验结果

研究问题

• RQ1 共享的孪生网络架构能否有效学习资源丰富语言与资源匮乏语言之间的感情对齐表征？
• RQ2 使用共享Bi-LSTM编码器的对比学习是否能提升印地语和泰卢固语等低资源语言的情感分类准确率？
• RQ3 在无平行语料或大词典的情况下，情感表征在多大程度上可实现跨语言迁移？
• RQ4 与基于分布语义、词典列表和深度神经网络的现有方法相比，SNASA在低资源语言上的性能如何？
• RQ5 情感的普遍性是否通过共享的、情感对齐的句子表征在不同语言中得以体现？

主要发现

• SNASA在资源匮乏语言的情感分析中优于当前最先进方法，包括基于分布语义、语义规则、词典列表和深度神经网络的方法。
• 该模型在印地语和泰卢固语数据集上实现了卓越性能，且无需大规模标注数据或平行语料。
• 使用对比损失与共享Bi-LSTM编码器，即使在低资源语言训练样本有限的情况下，也能实现有效的跨语言情感表征学习。
• 学习到的表征将情感相似的句子在嵌入空间中更紧密地投影，证实了模型捕捉跨语言情感语义的能力。
• 该方法表明情感具有普遍性，即通过共享架构可在多种语言中一致地表示情感。
• 该方法在大规模英语和西班牙语数据集上也取得了优异结果，验证了其在不同语系间的泛化能力。