[论文解读] Folksonomication: Predicting Tags for Movies from Plot Synopses Using Emotion Flow Encoded Neural Network

Sudipta Kar, Suraj Maharjan+1 more|arXiv (Cornell University)|Aug 15, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 6

一句话总结

本文提出了一种新颖的神经网络模型，通过使用双向LSTM编码情感流动，从剧情简介中预测电影标签，显著提升了标签预测性能。与传统机器学习系统相比，该模型将标签召回率提高了约18%，证明了情感动态在叙事理解中对大众分类法生成的价值。

ABSTRACT

Folksonomy of movies covers a wide range of heterogeneous information about movies, like the genre, plot structure, visual experiences, soundtracks, metadata, and emotional experiences from watching a movie. Being able to automatically generate or predict tags for movies can help recommendation engines improve retrieval of similar movies, and help viewers know what to expect from a movie in advance. In this work, we explore the problem of creating tags for movies from plot synopses. We propose a novel neural network model that merges information from synopses and emotion flows throughout the plots to predict a set of tags for movies. We compare our system with multiple baselines and found that the addition of emotion flows boosts the performance of the network by learning ~18\% more tags than a traditional machine learning system.

研究动机与目标

• 通过从剧情简介中自动预测标签，解决低知名度电影用户生成标签稀缺的问题。
• 通过生成反映情感和叙事属性的准确、多维标签，提升电影推荐与内容发现效果。
• 探究在剧情中建模情感流动是否能超越静态文本特征，提升标签预测性能。
• 开发一种在多种电影类型和标签类型上均具有良好泛化能力的神经网络系统。

提出的方法

• 该模型使用卷积神经网络（CNN）从剧情简介中提取局部词级特征。
• 双向长短期记忆网络（BiLSTM）用于编码叙事序列中的情感流动。
• 情感流动源自对每个句子或简介片段计算的情感强度得分。
• 将CNN与BiLSTM的表征结果拼接，并通过全连接层预测多标签集合。
• 系统采用交叉熵损失函数，配合Sigmoid激活函数，进行端到端的多标签分类训练。
• 在包含14,000部电影及其真实标签的数据集上评估模型性能，与多种基线模型对比，包括多数类和随机预测基线，以及使用手工设计语言特征的系统。

实验结果

研究问题

• RQ1 与仅依赖静态文本特征相比，建模电影剧情简介中的情感流动是否能提升自动化标签预测系统的性能？
• RQ2 引入情感动态后，对预测标签的召回率和F1分数有何影响，特别是在情感类和主题类标签上？
• RQ3 从剧情简介中预测的标签与从完整电影剧本中推导出的标签在多大程度上一致？造成差异的因素是什么？
• RQ4 稀有或主观性标签（如“寓言”、“洗脑”）对模型性能有何影响？带来了哪些挑战？

主要发现

• 与依赖手工设计语言特征的传统机器学习系统相比，所提出的模型将标签召回率提高了约18%。
• 在预测前5个标签时，系统获得38.7%的微F1分数，标签召回率（TR）为15.70，显著优于基线模型。
• 引入情感流动使模型能够学习到更多与情感体验相关的标签，如“发人深省”、“悬念十足”和“感伤剧”。
• 在剧情简介与完整电影剧本的预测结果对比中，40%的电影至少有80%的前五名预测标签相同，表明预测结果具有较强一致性。
• 该模型在稀有或主观性标签（如“Blaxploitation”、“魔幻现实主义”）上的表现较弱，这些标签在电影中占比不足0.06%，表明学习低频、视角依赖性标签存在挑战。
• 尽管微F1分数相似，但使用完整电影剧本进行预测时标签召回率较低，可能由于训练/测试数据分布不匹配，以及剧本中非语言元素引入的噪声所致。