[论文解读] Cross-Lingual Sentiment Analysis Without (Good) Translation

Mohamed Abdalla, Graeme Hirst|arXiv (Cornell University)|Jul 6, 2017

Sentiment Analysis and Opinion Mining参考文献 26被引用 15

一句话总结

本文提出了一种低成本、高性能的跨语言情感分析方法，通过使用仅需2,000对词对训练的简单线性变换矩阵，绕过了对精确翻译的依赖。该方法将细粒度情感知识从英语迁移至其他语言，在西班牙语和中文上仅用极少数据即展现出强劲性能，其结果与昂贵的双语词嵌入基线方法相当，同时显著降低了成本并减少了对翻译质量的依赖。

ABSTRACT

Current approaches to cross-lingual sentiment analysis try to leverage the wealth of labeled English data using bilingual lexicons, bilingual vector space embeddings, or machine translation systems. Here we show that it is possible to use a single linear transformation, with as few as 2000 word pairs, to capture fine-grained sentiment relationships between words in a cross-lingual setting. We apply these cross-lingual sentiment models to a diverse set of tasks to demonstrate their functionality in a non-English context. By effectively leveraging English sentiment knowledge without the need for accurate translation, we can analyze and extract features from other languages with scarce data at a very low cost, thus making sentiment and related analyses for many languages inexpensive.

研究动机与目标

• 通过利用英语情感知识而无需高质量翻译，解决低资源语言中情感标注数据稀缺的问题。
• 证明即使在翻译质量较差的情况下，情感关系在不同语言间依然得以保留，从而实现有效的跨语言情感迁移。
• 开发一种可扩展、低成本的替代方案，以替代昂贵的双语词嵌入或机器翻译方法，用于数据稀缺语言的情感分析。
• 在具有不同语法结构和语言根源的语言（如英语、西班牙语和中文）之间验证该方法的鲁棒性。
• 证明简单的线性变换即可实现与依赖复杂多语言嵌入的最先进方法相当的性能。

提出的方法

• 从少量双语词对数据集（2,000至8,500对）中学习一个线性变换矩阵，将源语言词向量映射到英语情感向量空间。
• 该方法采用Mikolov等人（2013a）提出的向量空间翻译技术，通过学习的线性投影实现跨语言的词嵌入对齐。
• 情感分类通过仅在英语词向量上训练的细粒度情感回归器完成，无需目标语言中的任何标注数据。
• 通过在翻译后的向量空间中对单个词的ANEW（Amazon Neutral Evaluation Word）情感得分进行平均，计算句子级情感。
• 该方法将英语视为目标语言，其他语言视为源语言，实现单向情感迁移，无需互译系统。
• 该方法在西班牙语和中文数据上，通过词级和句子/文档级情感分类任务进行评估。

实验结果

研究问题

• RQ1 仅用极少的训练数据，简单的线性变换矩阵能否将细粒度情感知识从英语有效迁移至低资源语言？
• RQ2 当翻译质量较差时，情感信息在向量空间中仍能在多大程度上保持不变？
• RQ3 所提出方法的性能与依赖双语词嵌入或机器翻译的最先进方法相比如何？
• RQ4 该方法是否能在具有不同语法结构和语言根源的语言之间实现泛化？
• RQ5 实现有效的跨语言情感迁移所需的最少并行词对数量是多少？

主要发现

• 尽管仅依赖2,000至8,500对词对且无翻译质量要求，该方法仍能达到与最先进双语词嵌入方法相当的性能。
• 即使翻译质量极差——例如中文词“hungry”被译为“Mugabe misrule”等完全无关的词——情感仍能被准确预测，表明该方法对翻译错误具有极强的鲁棒性。
• 模型性能随训练数据增加而提升，但在约8,500对词对后开始趋于饱和，表明性能增益存在一个饱和点。
• 由翻译后词语的ANEW得分组成的句子向量，在逻辑回归任务中表现与双语词嵌入生成的向量相当，表明情感信息得到了充分保留。
• 线性变换下，情感拓扑图保持稳定，表明情感结构在无需精确词对齐的情况下仍足够良好地被保留，足以支持分类任务。
• 该方法在多种语言（包括英语、西班牙语和中文）中均表现有效，证实了其跨语言泛化能力。