[论文解读] A multimodal movie review corpus for fine-grained opinion mining

Alexandre Garcia, Slim Essid+2 more|arXiv (Cornell University)|Feb 26, 2019

Sentiment Analysis and Opinion Mining参考文献 22被引用 9

一句话总结

本文提出了一种新颖的多模态电影评论语料库，包含句子和词粒度的细粒度意见标注，支持分层意见预测。该研究提出了一套针对口语评论的结构化标注框架，实现了中等程度的标注者间一致性，并表明线性结构化预测器即使在低资源意见标签下也能学习到有意义的特征。

ABSTRACT

In this paper, we introduce a set of opinion annotations for the POM movie review dataset, composed of 1000 videos. The annotation campaign is motivated by the development of a hierarchical opinion prediction framework allowing one to predict the different components of the opinions (e.g. polarity and aspect) and to identify the corresponding textual spans. The resulting annotations have been gathered at two granularity levels: a coarse one (opinionated span) and a finer one (span of opinion components). We introduce specific categories in order to make the annotation of opinions easier for movie reviews. For example, some categories allow the discovery of user recommendation and preference in movie reviews. We provide a quantitative analysis of the annotations and report the inter-annotator agreement under the different levels of granularity. We provide thus the first set of ground-truth annotations which can be used for the task of fine-grained multimodal opinion prediction. We provide an analysis of the data gathered through an inter-annotator study and show that a linear structured predictor learns meaningful features even for the prediction of scarce labels. Both the annotations and the baseline system are made publicly available. https://github.com/eusip/POM/

研究动机与目标

• 开发一套一致且灵活的标注框架，用于口语化视频电影评论中的细粒度意见结构。
• 创建一个大规模、公开可用的数据集，包含用于多模态意见挖掘的分层意见标注。
• 实现多个粒度层级上意见组件（极性、方面、目标）的联合预测。
• 改进主观性、模糊性和话语不连贯的口语语言在意见挖掘任务中的建模。
• 通过标注者间一致性与基线模型性能验证标注质量。

提出的方法

• 设计两级标注模式：粗粒度（意见化片段）和细粒度（极性、方面、目标的组件级片段）。
• 定义特定的意见类别，包括推荐、偏好以及方面类型（如剧本、音乐、氛围等）。
• 使用线性条件随机场（CRF）实现结构化预测模型，引入输入-输出和输出-输出特征函数。
• 采用形式为 $ f_{k-(io)}(y_t, x_t) = 1 $ 的特征函数，当 $ y_t = y_k $ 且 $ x_t = x_k $ 时成立，其中学习到的权重为 $ heta_k $。
• 为句子级极性和方面预测分别训练模型，并利用得分最高的特征来解释模型行为。
• 报告在不同粒度层级和标签稀缺条件下的标注者间一致性与模型性能。

实验结果

研究问题

• RQ1 如何在具有停顿和句法多变性的自发口语评论中一致地应用意见标注？
• RQ2 在多模态意见标注中，不同粒度层级（句子 vs. 词）的标注者间一致性如何？
• RQ3 即使在低资源意见标签（如罕见方面）下，线性结构化预测器是否仍能学习到有意义的特征？
• RQ4 特定词汇线索（如评价性形容词、标点符号）如何影响极性和方面的预测？
• RQ5 分层、多粒度标注在多大程度上能提升意见挖掘模型的性能？

主要发现

• 在词粒度上标注者间一致性较低，但当标注放宽至句子粒度时显著提升。
• 线性结构化预测器学习到了有意义的特征权重，其中评价性形容词（如 'amazing'、'boring'）在极性预测中获得了高分。
• 标点符号和连词（如 'but' 和 'and'）是片段级别意见边界的强指示信号，其特征权重较高。
• 'Overall' 意见类别主要由极性词汇（如 'great'、'bad'）表示，与标注指南一致，即当未针对特定方面时适用。
• 对于罕见类别（如 'Music and Sound effects'），方面预测性能较低（F1 = 0.04），主要由于召回率低和词汇多样性差。
• 模型的最高分特征表明，方面预测依赖于内容词（如 'plot'、'soundtrack'）和话语标记，部分非特定术语（如 'good'）主导了低分特征。