[论文解读] Audio-Visual Sentiment Analysis for Learning Emotional Arcs in Movies

Eric Chu, Deb Roy|arXiv (Cornell University)|Dec 8, 2017

Media Influence and Health参考文献 17被引用 8

一句话总结

本文提出了一种多模态机器学习框架，利用深度卷积神经网络分析电影中的音频与视觉情感，构建情感弧线以预测观众参与度。研究结果表明，特定的情感弧形状——尤其是以峰值结束的类型（‘结尾轰鸣’）——是在线视频内容中评论数量更高的统计显著预测因子。

ABSTRACT

Stories can have tremendous power -- not only useful for entertainment, they can activate our interests and mobilize our actions. The degree to which a story resonates with its audience may be in part reflected in the emotional journey it takes the audience upon. In this paper, we use machine learning methods to construct emotional arcs in movies, calculate families of arcs, and demonstrate the ability for certain arcs to predict audience engagement. The system is applied to Hollywood films and high quality shorts found on the web. We begin by using deep convolutional neural networks for audio and visual sentiment analysis. These models are trained on both new and existing large-scale datasets, after which they can be used to compute separate audio and visual emotional arcs. We then crowdsource annotations for 30-second video clips extracted from highs and lows in the arcs in order to assess the micro-level precision of the system, with precision measured in terms of agreement in polarity between the system's predictions and annotators' ratings. These annotations are also used to combine the audio and visual predictions. Next, we look at macro-level characterizations of movies by investigating whether there exist `universal shapes' of emotional arcs. In particular, we develop a clustering approach to discover distinct classes of emotional arcs. Finally, we show on a sample corpus of short web videos that certain emotional arcs are statistically significant predictors of the number of comments a video receives. These results suggest that the emotional arcs learned by our approach successfully represent macroscopic aspects of a video story that drive audience engagement. Such machine understanding could be used to predict audience reactions to video stories, ultimately improving our ability as storytellers to communicate with each other.

研究动机与目标

• 通过音视频情感分析建模电影中的情感弧线，以提升对叙事影响力的理解。
• 通过将模型输出与人类标注的30秒视频片段中的情感峰值与谷值对比，评估微层次情感预测的精确度。
• 通过聚类视觉情感轨迹，发现普遍存在的宏观层次情感弧线家族。
• 探究特定情感弧形状是否能预测观众参与度，以在线视频平台的评论数量作为代理指标。
• 发布公开数据集，包含音频特征与情感标注的视频片段，以支持未来多模态情感建模研究。

提出的方法

• 在大规模音视频情感数据集上训练深度卷积神经网络，以提取帧级与音频片段级的情感得分。
• 使用带有Keogh下界约束的动态时间规整法，比较不同电影间情感弧线的形状相似性。
• 采用k-medoids聚类方法，并结合轮廓系数的肘部法，从视觉情感轨迹中识别出不同的情感弧线家族。
• 通过加权模型融合音频与视觉情感预测结果，并利用人类标注的一致性评估情感极性预测的精确度。
• 通过在10%视频片段上对双概念分类器的倒数第二层激活值取平均，构建电影嵌入向量，再将其降维为10×1的特征向量。
• 使用元数据与分类聚类结果（情感弧线家族）进行回归分析，以预测Vimeo短片的评论数量。

Figure 1 : Overview

实验结果

研究问题

• RQ1 音视频情感分析能否在人类标注验证下，准确建模电影片段中的微层次情感峰值与谷值？
• RQ2 在多样化的电影与短片中，是否存在明确且普遍的情感弧线家族？若存在，如何发现它们？
• RQ3 特定情感弧形状是否在统计上能预测更高的观众参与度，以在线评论数量作为衡量指标？
• RQ4 引入音频与视觉情感特征如何影响情感弧线建模的准确性与可解释性？
• RQ5 情感弧线家族在多大程度上与电影类型或叙事结构相关联？

主要发现

• 音视频情感融合模型在30秒视频片段中预测情感峰值与谷值极性的精确度达到0.894，与人类标注者高度一致。
• k-medoids聚类方法在短片语料库中识别出五个显著的情感弧线家族，其中‘Icarus’形态（先升后降）与‘end-with-a-bang’弧线为参与度的统计显著预测因子。
• 在k=8聚类时，‘end-with-a-bang’弧线家族是评论数量的统计显著预测因子（p < 0.05），与观众参与度呈正相关。
• ‘Icarus’弧线（先升后降）及另外两种峰顶结束形态（峰前上升或平坦）在多个k值下亦为评论数量的显著预测因子。
• 基于视觉情感的电影嵌入向量在聚类中清晰按类型分组，浪漫、冒险、奇幻与动画类影片形成独立群组。
• 由于数据稀疏性与真实标签覆盖范围小，音视频融合方法导致聚类结果较视觉单模态弧线不够清晰。

Figure 2 : Effect of smoothing values for arcs: no smoothing versus $w=0.1*n$