[论文解读] Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification

Xilun Chen, Yu Sun+3 more|arXiv (Cornell University)|Jun 6, 2016

Sentiment Analysis and Opinion Mining参考文献 38被引用 75

一句话总结

本文提出对抗性深度平均网络（ADAN），一种跨语言情感分类模型，通过对抗性训练将资源丰富的源语言（如英语）的知识迁移至低资源目标语言（如中文、阿拉伯语）。ADAN通过共享特征提取器联合训练情感分类器与语言判别器，学习语言不变表示，即使在无目标语言标注数据或无需昂贵机器翻译系统的情况下，仍能达到最先进性能。

ABSTRACT

In recent years great success has been achieved in sentiment classification for English, thanks in part to the availability of copious annotated resources. Unfortunately, most languages do not enjoy such an abundance of labeled data. To tackle the sentiment classification problem in low-resource languages without adequate annotated data, we propose an Adversarial Deep Averaging Network (ADAN) to transfer the knowledge learned from labeled data on a resource-rich source language to low-resource languages where only unlabeled data exists. ADAN has two discriminative branches: a sentiment classifier and an adversarial language discriminator. Both branches take input from a shared feature extractor to learn hidden representations that are simultaneously indicative for the classification task and invariant across languages. Experiments on Chinese and Arabic sentiment classification demonstrate that ADAN significantly outperforms state-of-the-art systems.

研究动机与目标

• 解决缺乏足够标注训练数据的语言在低资源情感分类中的挑战。
• 开发一种方法，将资源丰富的源语言（如英语）的情感分类知识迁移至低资源目标语言（如中文、阿拉伯语）。
• 在跨语言情感分类中消除对昂贵机器翻译系统或大规模平行语料库的依赖。
• 通过对抗性训练学习语言不变表示，提升模型泛化能力。
• 在无监督和半监督设置下，证明对低资源语言的鲁棒性与有效性。

提出的方法

• ADAN使用共享特征提取器从源语言和目标语言输入中生成深度表示。
• 采用两个判别分支：情感分类器与对抗性语言判别器，均基于共享特征进行训练。
• 语言判别器用于区分源语言与目标语言输入，而特征提取器则通过最小化判别器的准确率进行训练，以促进语言不变特征的学习。
• 通过最小化源语言与目标语言特征分布之间的Wasserstein距离，提升训练稳定性和性能。
• ADAN通过端到端联合优化情感分类器与对抗性判别器进行训练，采用反向传播与梯度反转。
• 该框架对双语词嵌入的选择具有鲁棒性，甚至在使用随机初始化嵌入时仍能表现良好。

实验结果

研究问题

• RQ1 对抗性训练能否有效应用于跨语言情感分类，以学习语言不变表示？
• RQ2 ADAN在低资源情感分类中是否优于现有方法，包括依赖昂贵机器翻译系统的模型？
• RQ3 在缺乏标注目标数据的情况下，ADAN表现如何？是否仍能有效泛化？
• RQ4 ADAN在仅有少量标注目标数据的半监督设置下是否能有效适应？
• RQ5 ADAN的性能对所用双语词嵌入的质量与类型是否敏感？

主要发现

• ADAN在中文与阿拉伯语情感分类任务上显著优于最先进跨语言情感分类方法。
• 即使在无任何标注目标数据的情况下，ADAN仍优于仅使用双语词嵌入与领域自适应方法的强基线模型。
• ADAN优于基于机器翻译的竞争力基线模型以及Xu与Yang（2017）提出的跨语言蒸馏方法，证明其在极小平行数据下的有效性。
• 在半监督设置下，当给予相同数量的标注目标数据时，ADAN持续优于所有基线模型。
• 即使使用随机初始化词嵌入进行训练，ADAN仍保持强大性能，仅略逊于最优的基于机器翻译与蒸馏的系统。
• 采用Wasserstein距离最小化可带来更平滑的训练过程与更优性能，优于基于标准梯度反转的对抗性训练。