[论文解读] Deep Learning Paradigm with Transformed Monolingual Word Embeddings for Multilingual Sentiment Analysis

Yujie Lu, Tatsunori Mori|arXiv (Cornell University)|Oct 9, 2017

Sentiment Analysis and Opinion Mining参考文献 14被引用 6

一句话总结

本文提出一种深度学习范式，通过将不同语言的单语词嵌入统一映射到共享嵌入空间，实现多语言情感分析的单一参数共享神经网络。通过在将语言特定的嵌入输入卷积神经网络（CNN）或长短期记忆网络（LSTM）前进行变换，该方法在最先进基线基础上实现了2.1%的准确率提升，证明了其在无需依赖机器翻译的情况下具备优越的跨语言泛化能力。

ABSTRACT

The surge of social media use brings huge demand of multilingual sentiment analysis (MSA) for unveiling cultural difference. So far, traditional methods resorted to machine translation---translating texts in other languages to English, and then adopt the methods once worked in English. However, this paradigm is conditioned by the quality of machine translation. In this paper, we propose a new deep learning paradigm to assimilate the differences between languages for MSA. We first pre-train monolingual word embeddings separately, then map word embeddings in different spaces into a shared embedding space, and then finally train a parameter-sharing deep neural network for MSA. The experimental results show that our paradigm is effective. Especially, our CNN model outperforms a state-of-the-art baseline by around 2.1% in terms of classification accuracy.

研究动机与目标

• 为解决基于机器翻译方法在多语言情感分析中的局限性，这些方法对翻译质量敏感且需要语言特定的资源。
• 将来自不同语言的异构单语词嵌入统一映射到共享语义空间，以提升跨语言迁移能力。
• 开发一个单一的、参数共享的深度神经网络，可同时处理多种语言，从而减少对语言特定模型适配的需求。
• 在包含英语、日语和中文的平衡多语言推文语料库（MDSU）上评估该范式的有效性。
• 探究在深度学习模型中，词嵌入空间变换是否能提升多语言情感分类的性能，相较于原始未对齐的嵌入。

提出的方法

• 分别使用各自语料库对每种语言（英语、日语、中文）进行单语词嵌入的预训练。
• 应用线性变换（例如，使用共享投影矩阵）将每种语言的原始嵌入空间中的词嵌入映射到一个共享的统一嵌入空间。
• 将变换后的嵌入作为输入，输入到一个参数共享的深度神经网络（具体为CNN或LSTM）中，并在所有语言上联合训练。
• 端到端训练整个模型，跨语言共享所有网络权重，以强化跨语言泛化能力。
• 使用交叉熵损失和反向传播进行模型优化，同时联合更新变换矩阵和网络权重。
• 在MDSU数据集上评估性能，与基于机器翻译的基线方法及先前最先进方法进行比较。

实验结果

研究问题

• RQ1 一个具有共享参数的统一深度学习模型是否能有效实现多语言情感分析，而无需进行语言特定的适应？
• RQ2 将单语词嵌入变换到共享嵌入空间是否能提升分类性能，相较于使用原始未对齐的嵌入？
• RQ3 与基于机器翻译的方法相比，该范式在多语言情感数据集上的准确率和鲁棒性如何？
• RQ4 嵌入变换带来的性能提升是否在不同深度学习架构（如CNN与LSTM）中保持一致？
• RQ5 使用平衡的多语言数据集（MDSU）在多大程度上能够实现对跨语言情感分析模型的可靠评估？

主要发现

• 所提出的使用变换后单语词嵌入的深度学习范式，在分类准确率上比基于机器翻译的基线高出4.3个百分点。
• 使用变换嵌入的参数共享CNN模型相比最先进基线实现了2.1%的准确率提升，证明了其强大的跨语言泛化能力。
• CNN模型从嵌入空间变换中显著受益，准确率提升了1.4%；而LSTM模型则出现0.6%的轻微下降，表明变换效果具有网络架构依赖性。
• 该深度学习范式的性能优于传统基于MT的方法，表明嵌入变换可缓解机器翻译引入的噪声。
• 对每种语言分别训练的模型准确率略高（58.1% vs. 57.3%），表明在缺乏适当对齐的情况下，嵌入异质性仍是挑战。
• 该方法仅需单语词嵌入和语言特定的分词器，因此轻量且可扩展至低资源语言。