[论文解读] GLA in MediaEval 2018 Emotional Impact of Movies Task

Jennifer J. Sun, Ting Liu+1 more|arXiv (Cornell University)|Nov 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 4

一句话总结

本论文提出了一种多模态深度学习方法，利用图像、音频和面部模态的预训练特征，对电影中的愉悦度和唤醒度进行连续预测。通过结合基于GRU的时序建模、专家混合回归头以及Butterworth滤波，该方法在MediaEval 2018的三项评估指标中表现最佳，包括愉悦度和唤醒度的最低MSE，以及唤醒度的最高PCC。

ABSTRACT

The visual and audio information from movies can evoke a variety of emotions in viewers. Towards a better understanding of viewer impact, we present our methods for the MediaEval 2018 Emotional Impact of Movies Task to predict the expected valence and arousal continuously in movies. This task, using the LIRIS-ACCEDE dataset, enables researchers to compare different approaches for predicting viewer impact from movies. Our approach leverages image, audio, and face based features computed using pre-trained neural networks. These features were computed over time and modeled using a gated recurrent unit (GRU) based network followed by a mixture of experts model to compute multiclass predictions. We smoothed these predictions using a Butterworth filter for our final result. Our method enabled us to achieve top performance in three evaluation metrics in the MediaEval 2018 task.

研究动机与目标

• 基于视觉、音频和面部特征，预测电影中的连续愉悦度和唤醒度水平。
• 通过迁移学习和多模态融合，提升情绪预测性能。
• 通过循环序列建模，解决情感影响的时序动态特性。
• 通过后处理滤波技术，提升预测的平滑性和准确性。
• 在MediaEval 2018电影情感影响任务的LIRIS-ACCEDE数据集上实现最先进结果。

提出的方法

• 使用在ImageNet上预训练的Inception网络提取图像特征（Inception-Image）。
• 使用AudioSet（一种在YouTube-8M上预训练的VGG结构模型）提取音频特征（AudioSet）。
• 使用基于Inception的模型在面部数据上训练，提取面部特征（Inception-Face），每帧聚焦于两个最大的人脸。
• 通过晚期融合结合各模态特定的特征，并通过基于GRU的循环网络处理，以建模时序依赖性。
• 采用具有softmax门控网络的专家混合模型，实现愉悦度和唤醒度的多变量回归。
• 应用Butterworth低通滤波器，平滑模型预测中的高频波动。

实验结果

研究问题

• RQ1 预训练的图像、音频和面部特征相较于基线特征（如VGG16 + openSMILE）在预测情感影响方面表现如何？
• RQ2 建模电影情感反应时序动态的最优序列长度是多少？
• RQ3 循环架构选择（GRU与LSTM及TCN相比）对连续情绪预测性能有何影响？
• RQ4 集成平均和批量归一化在多大程度上提升了预测的鲁棒性和泛化能力？
• RQ5 使用Butterworth滤波进行后处理是否能有效降低回归输出中的噪声，同时不损害相关性？

主要发现

• 该模型在所有提交结果中，愉悦度的均方误差（MSE）最低（0.0837），唤醒度的皮尔逊相关系数（PCC）最高（0.3513）。
• 引入Inception-Face特征显著提升了性能，表明面部线索对情绪预测具有高度信息量。
• 基于GRU的模型优于LSTM和TCN，60秒输入序列的性能优于更短序列。
• 通过五次运行的集成平均，MSE相比最佳单次运行降低了30%，证明了方差减少的优势。
• 推理过程中使用批量归一化增加了预测方差，尤其对唤醒度影响更大，可能由于训练集与测试集之间的分布偏移所致。
• Butterworth滤波优于移动平均滤波，因其能更好地保持通带平坦性，从而实现更平滑、更准确的预测。