[论文解读] Convolutional Collaborative Filter Network for Video Based Recommendation Systems

Cheng-Kang Hsieh, Miguel Del Campo+4 more|arXiv (Cornell University)|Oct 18, 2018

Recommender Systems and Techniques参考文献 7被引用 4

一句话总结

该论文提出了一种卷积协同过滤网络（CCFN），通过在帧级特征上使用一维卷积层来建模电影预告片中对象的时间序列，从而提升基于视频的推荐性能。通过捕捉如镜头时长和重复等动态视觉模式，该模型在性能上优于平均池化基线方法，并通过分析跨类型学习到的对象序列激活，实现了模型可解释性。

ABSTRACT

This analysis explores the temporal sequencing of objects in a movie trailer. Temporal sequencing of objects in a movie trailer (e.g., a long shot of an object vs intermittent short shots) can convey information about the type of movie, plot of the movie, role of the main characters, and the filmmakers cinematographic choices. When combined with historical customer data, sequencing analysis can be used to improve predictions of customer behavior. E.g., a customer buys tickets to a new movie and maybe the customer has seen movies in the past that contained similar sequences. To explore object sequencing in movie trailers, we propose a video convolutional network to capture actions and scenes that are predictive of customers' preferences. The model learns the specific nature of sequences for different types of objects (e.g., cars vs faces), and the role of sequences in predicting customer future behavior. We show how such a temporal-aware model outperforms simple feature pooling methods proposed in our previous works and, importantly, demonstrate the additional model explain-ability allowed by such a model.

研究动机与目标

• 通过建模电影预告片中的时间动态，超越静态帧特征，以改善冷启动电影推荐。
• 解决平均池化在视频表示中的局限性，后者会丢失序列和时间信息。
• 通过识别驱动预测的视觉序列（例如，特写镜头、快速剪辑）来增强模型可解释性。
• 将视频级别的时间模式与协同过滤相结合，以更准确地预测用户行为。
• 证明在混合推荐系统中，序列感知的视频表示比帧级池化更具预测能力。

提出的方法

• 该模型使用预训练的图像特征提取器，为预告片中每一帧生成密集嵌入表示。
• 将这些帧级特征按时间顺序堆叠，并通过多层一维卷积层处理，以学习对象存在和转换的时间模式。
• 卷积层在连续帧上应用滤波器，以检测重复出现的视觉序列（例如，快速剪辑、长时间特写），这些序列可指示类型或叙事风格。
• 在第一层卷积层中使用残差连接，以改善梯度流动和特征学习，尤其在使用1帧卷积滤波器时效果显著。
• 最终的特征图经过全局平均池化后，输入协同过滤层，基于历史行为预测用户偏好。
• 模型通过视频表示学习与协同过滤损失的组合，进行端到端训练。

实验结果

研究问题

• RQ1 在电影预告片中建模对象的时间序列是否能提升基于视频推荐系统的效果？
• RQ2 不同卷积滤波器大小和网络架构如何影响序列感知视频表示在推荐任务中的性能？
• RQ3 学习到的卷积滤波器在多大程度上能提供对预测用户偏好的视觉模式的可解释性洞察？
• RQ4 与帧特征的平均池化相比，所提出方法在预测能力和可解释性方面表现如何？
• RQ5 在不同类型中，哪些类型的视觉序列（例如，镜头时长、重复）最能预测用户行为？

主要发现

• 足够大的感受野（滤波器大小 > 4帧）对模型性能至关重要，且当滤波器大小超过8帧时性能趋于饱和。
• 残差连接显著提升了性能，尤其是在使用1帧卷积滤波器时，表明其有助于增强帧间相关性的学习。
• 该模型成功学习到类型特定的视觉模板：例如，通道4在恐怖片中典型的缓慢而紧张的特写镜头上被激活，而通道8则对动作或超级英雄电影中高能特技有响应。
• 该模型通过捕捉更具信息量的动态、序列级特征，优于简单的平均池化基线，尤其在冷启动场景下对用户行为的预测更具优势。
• 激活图显示，该模型在多种类型（包括动作、动画、爱情、恐怖、怪兽、战争）中学习到了语义上有意义的对象序列。
• 通过滤波器激活提供的可解释性，使研究人员能够理解哪些视觉模式（例如，镜头频率、对象聚焦）最能预测用户偏好。