[论文解读] Mining fine-grained opinions on closed captions of YouTube videos with an attention-RNN

Edison Marrese-Taylor, Jorge Balazs+1 more|arXiv (Cornell University)|Aug 8, 2017

Sentiment Analysis and Opinion Mining参考文献 17被引用 3

一句话总结

本文提出了首个用于细粒度意见挖掘的YouTube视频评论字幕数据集Youtubean，以及一种用于联合方面抽取与情感分类的注意力-RNN模型。该模型在SemEval ABSA任务上达到最先进性能，并在Youtubean上优于基线模型，但所有模型在视频评论数据上的性能均显著下降，表明在意见挖掘中，口语与书面语之间存在领域差异。

ABSTRACT

Video reviews are the natural evolution of written product reviews. In this paper we target this phenomenon and introduce the first dataset created from closed captions of YouTube product review videos as well as a new attention-RNN model for aspect extraction and joint aspect extraction and sentiment classification. Our model provides state-of-the-art performance on aspect extraction without requiring the usage of hand-crafted features on the SemEval ABSA corpus, while it outperforms the baseline on the joint task. In our dataset, the attention-RNN model outperforms the baseline for both tasks, but we observe important performance drops for all models in comparison to SemEval. These results, as well as further experiments on domain adaptation for aspect extraction, suggest that differences between speech and written text, which have been discussed extensively in the literature, also extend to the domain of product reviews, where they are relevant for fine-grained opinion mining.

研究动机与目标

• 为解决在YouTube开箱及评测视频中口语化语言的细粒度意见挖掘研究不足的问题。
• 从YouTube产品评测视频的字幕中构建首个标注数据集Youtubean，以支持口语化语言意见挖掘的研究。
• 开发一种注意力-RNN模型，联合执行方面抽取与情感分类，利用注意力机制建模复合情感。
• 探究口语（视频）与书面（文本）评论之间领域差异对意见挖掘性能的影响。
• 评估领域自适应技术是否能缓解在将基于书面文本训练的模型迁移至口语视频评论时的性能下降问题。

提出的方法

• 对YouTube产品评测视频的字幕进行标注，构建Youtubean数据集，重点关注方面-情感对。
• 设计一种增强注意力的RNN模型，通过共享编码器对词表示进行注意力计算，联合执行方面抽取与情感分类。
• 使用软注意力机制计算词表示的凸组合，使模型能够聚焦于情感构成相关的关键词。
• 在SemEval ABSA数据集和Youtubean上端到端训练模型，对方面标注和情感分类均使用交叉熵损失。
• 使用F1分数评估模型在方面抽取（AE）、情感分类（SC）和联合方面-情感分类（AESC）上的表现，并与RNN和BiLSTM基线模型进行比较。
• 应用领域自适应技术，如在Youtubean上微调模型以及使用来自不同来源的预训练词嵌入，以评估书面与口语评论领域之间的可迁移性。

实验结果

研究问题

• RQ1 在YouTube字幕中捕获的口语化视频评论中，基于书面产品评论训练的意见挖掘模型性能如何泛化？
• RQ2 注意力-RNN模型是否能在不依赖手工设计语言特征的情况下，实现联合方面抽取与情感分类的最先进性能？
• RQ3 领域自适应技术在从书面评论迁移至口语评论领域时，能在多大程度上提升模型性能？
• RQ4 书面与口语产品评论在语言模式上的关键差异是什么，这些差异如何影响意见挖掘性能？
• RQ5 为何模型在视频评论数据中对负面情感类别表现特别差，注意力机制能否缓解此问题？

主要发现

• 注意力-RNN模型在SemEval ABSA基准上实现了联合方面抽取与情感分类的最先进性能，优于以往模型，且无需依赖手工特征。
• 在Youtubean数据集上，注意力-RNN在方面抽取和联合分类任务上均优于基线RNN模型，使用维基百科嵌入时，F1分数分别为52.32和48.05。
• 所有模型，包括表现最佳的注意力-RNN，相较于SemEval在Youtubean上的性能均显著下降，表明书面与口语评论之间存在领域偏移。
• 应用于基线RNN的领域自适应技术使方面抽取的F1分数最高提升3.56，但增益有限且在不同模型间不一致。
• 模型在负面情感类别上表现最差，表明在口语语言中存在数据不平衡或复合否定等挑战。
• Senna嵌入在Youtubean上并未始终优于其他嵌入，表明通用嵌入可能比特定任务嵌入更适合口语化语言意见挖掘。