[论文解读] Learning Neural Emotion Analysis from 100 Observations: The Surprising Effectiveness of Pre-Trained Word Representations.

Sven Buechel, João Sedoc+2 more|arXiv (Cornell University)|Oct 25, 2018

Topic Modeling被引用 7

一句话总结

该论文表明，通过结合高质量的预训练词嵌入，最先进的神经情绪分析模型在每种语言仅使用100个标注样本的情况下也能实现高性能。尽管普遍认为深度学习需要大量数据集，但本研究显示，预训练表征显著缓解了在三种类型学上各不相同的语言中低资源情绪分析的数据稀缺问题。

ABSTRACT

Deep Learning has drastically reshaped virtually all areas of NLP. Yet on the downside, it is commonly thought to be dependent on vast amounts of training data. As such, these techniques appear ill-suited for areas where annotated data is limited, like emotion analysis, with its many nuanced and hard-to-acquire annotation formats, or other low-data scenarios encountered in under-resourced languages. In contrast to this popular notion, we provide empirical evidence from three typologically diverse languages that today's favorite neural architectures can be trained on a few hundred observations only. Our results suggest that high-quality, pre-trained word embeddings are crucial for achieving high performance despite such strong data limitations.

研究动机与目标

• 研究神经模型是否能在极少量标注数据下实现情绪分析的强劲性能。
• 评估预训练词嵌入在低资源自然语言处理场景中克服数据稀缺问题的作用。
• 测试神经架构在资源匮乏语言中仅用极少监督进行情绪分析的有效性。
• 挑战深度学习需要大规模标注数据集才能实现可靠性能的普遍假设。

提出的方法

• 本研究将预训练词嵌入用作神经情绪分类模型的输入表征。
• 在每种语言仅使用100个标注样本的前提下，应用标准神经架构（例如前馈网络或循环网络）进行微调。
• 在三种类型学上各不相同的语言的情绪数据集上训练和评估模型，以确保跨语言泛化能力。
• 通过标准分类指标（如准确率和F1值）在保留的测试集上衡量性能。
• 通过在相同训练条件下对比使用和不使用预训练嵌入的模型，隔离预训练嵌入的贡献。

实验结果

研究问题

• RQ1 当仅使用100个标注样本进行训练时，神经情绪分类模型能否实现高性能？
• RQ2 在极端数据稀缺条件下，预训练词嵌入在提升模型性能方面的有效性如何？
• RQ3 预训练词嵌入在不同类型学特征不同的语言中的有效性是否存在差异？
• RQ4 预训练嵌入在多大程度上减少了情绪分析中对大规模标注数据的需求？

主要发现

• 即使每种语言仅使用100个标注样本进行训练，神经情绪分析模型也能实现高性能。
• 在数据受限条件下，高质量的预训练词嵌入对于实现强劲性能至关重要。
• 预训练嵌入带来的性能提升在三种类型学上各不相同的语言中保持一致。
• 研究结果挑战了广泛持有的观点，即深度学习模型需要大规模标注数据集才能有效。