[论文解读] Competitive Analysis System for Theatrical Movie Releases Based on Movie Trailer Deep Video Representation

Miguel Del Campo, Cheng-Kang Hsieh+6 more|arXiv (Cornell University)|Jul 12, 2018

Image and Video Quality Assessment参考文献 18被引用 9

一句话总结

该论文提出 Merlin Video，一种新颖的混合协同过滤系统，利用预训练卷积神经网络从电影预告片中提取的深度视频表征，提前八个月预测观众行为及竞争性电影对比。该模型在基于文本的基线模型上实现了最高达6.5%的AUC提升，并通过结合帧级视觉特征与历史观影数据，实现了精准的冷启动预测。

ABSTRACT

Audience discovery is an important activity at major movie studios. Deep models that use convolutional networks to extract frame-by-frame features of a movie trailer and represent it in a form that is suitable for prediction are now possible thanks to the availability of pre-built feature extractors trained on large image datasets. Using these pre-built feature extractors, we are able to process hundreds of publicly available movie trailers, extract frame-by-frame low level features (e.g., a face, an object, etc) and create video-level representations. We use the video-level representations to train a hybrid Collaborative Filtering model that combines video features with historical movie attendance records. The trained model not only makes accurate attendance and audience prediction for existing movies, but also successfully profiles new movies six to eight months prior to their release.

研究动机与目标

• 为解决在电影上映前的冷启动阶段，预测新上映电影的观众需求与竞争格局的挑战。
• 开发一种系统，利用电影预告片中的低级视觉特征（如人脸、物体、场景）而非仅依赖文本剧情描述。
• 通过实现对电影表现和目标受众群体的早期、数据驱动的预测，提升观众发现与营销策略。
• 评估基于视频的表征在协同过滤模型中的有效性，与传统的基于文本的方法进行对比。

提出的方法

• 利用预训练的卷积神经网络（如 Inception 或 ResNet 变体）从电影预告片中逐帧提取视觉特征。
• 对帧进行平均池化操作，生成表示整个预告片的单一、密集的视频级嵌入。
• 训练一种混合协同过滤模型，将这些视频级嵌入与历史电影观影数据及人口统计信息相结合。
• 采用偏移向量正则化技术以提升泛化能力，尤其在矩阵内和冷启动推荐场景中。
• 使用AUC作为主要评估指标，在大规模真实世界数据集上与基于文本的基线模型（如 Merlin Text、CDL、RF）进行性能对比。
• 通过对比上映前预测的竞争性影片（comps）与实际票房表现及上映后观众重叠情况，验证预测结果。

实验结果

研究问题

• RQ1 与基于文本的模型相比，电影预告片的深度视频表征是否能在矩阵内和冷启动场景中提升观众预测的准确性？
• RQ2 基于视频的可比影片预测与基于文本的预测有何不同？这些差异为营销策略提供了哪些见解？
• RQ3 在平均池化后的视频特征中，时间信息的损失在多大程度上限制了模型的预测能力？又该如何缓解这一问题？
• RQ4 结合视频与文本特征是否能构建比单一模态更稳健、更准确的观众预测模型？

主要发现

• Merlin Video 在矩阵内场景中达到 0.747 的 AUC，在冷启动场景中达到 0.708，相比基于文本的基线模型最高提升 6.5% AUC。
• 尽管训练模态不同，该视频模型在冷启动预测中表现与基于文本的 Merlin Text 模型相当，显示出较强的泛化能力。
• 基于视频预告片预测的竞争性影片（comps）与基于剧情文本的预测存在显著差异——例如，Hidden Figures 的观众通过视频预测会观看 The Greatest Showman，但通过文本预测则不会。
• 该模型成功在电影上映前八个月识别出观众重叠与竞争动态，支持早期战略规划。
• 结果表明，视频与文本表征捕捉了电影的不同方面，显示出混合建模的强大潜力。
• 通过平均池化进行的时间信息聚合导致事件序列与电影叙事线索的损失，凸显了未来模型需保留时间结构的必要性。