[论文解读] FusedLSTM: Fusing frame-level and video-level features for Content-based Video Relevance Prediction

Yash Bhalgat|arXiv (Cornell University)|Sep 28, 2018

Video Analysis and Summarization被引用 4

一句话总结

本文提出 FusedLSTM，一种深度学习模型，通过长短期记忆网络（LSTM）和全连接层融合帧级 Inception-pool3 与视频级 C3D-pool5 特征，以预测视频相关性。通过最小化三元组损失并采用在线核相似性学习方法，该模型在 ACMMM-2018 CBVRP 挑战赛中取得了最先进性能，在电影和电视剧两个赛道上均优于基线方法和 OMKS 方法。

ABSTRACT

This paper describes two of my best performing approaches on the Content-based Video Relevance Prediction challenge. In the FusedLSTM based approach, the inception-pool3 and the C3D-pool5 features are combined using an LSTM and a dense layer to form embeddings with the objective to minimize the triplet loss function. In the second approach, an Online Kernel Similarity Learning method is proposed to learn a non-linear similarity measure to adhere the relevance training data. The last section gives a complete comparison of all the approaches implemented during this challenge, including the one presented in the baseline paper.

研究动机与目标

• 为解决视频推荐中的冷启动问题，通过不依赖用户行为数据的内容相关性预测实现推荐。
• 通过深度神经网络融合多层级特征（帧级与视频级）以提升视频相关性预测性能。
• 学习鲁棒的视频嵌入表示，通过最小化三元组损失，确保相关视频在嵌入空间中比不相关视频更接近。
• 探索通过在线核方法进行非线性相似性学习，以增强泛化能力并避免过拟合。
• 在真实世界视频检索基准上评估并比较多种架构，包括 FusedLSTM 和基于核的方法。

提出的方法

• FusedLSTM 通过 LSTM 网络连接 Inception-pool3（帧级）与 C3D-pool5（视频级）特征，并通过全连接层生成联合嵌入表示。
• 模型通过三元组损失进行训练，以确保锚点与正样本视频之间的相似度高于与负样本视频的相似度，并设置最小边际。
• 采用三种相似性核函数——余弦、RBF 和 softmax——计算三元组损失目标中嵌入表示之间的成对相似度。
• 为防止嵌入范数爆炸，对三元组损失函数应用 L2 正则化。
• 通过锚点镜像技术增加训练数据多样性，通过重新排列三元组减少因重复使用锚点导致的过拟合。
• 还提出一种在线核相似性学习方法（OMKS），用于从视频特征中学习非线性相似性函数。

实验结果

研究问题

• RQ1 通过 LSTM 融合帧级与视频级特征是否能提升视频相关性预测性能？
• RQ2 使用三元组损失结合多种相似性核函数是否能提升视频检索中的泛化能力？
• RQ3 FusedLSTM 架构在 hit@k 和 recall@k 指标上与基线方法和 OMKS 方法相比表现如何？
• RQ4 锚点镜像在三元组训练中在多大程度上提升了模型泛化能力并减少了过拟合？
• RQ5 在线核相似性学习能否有效建模视频特征空间中的非线性关系以提升相关性预测性能？

主要发现

• FusedLSTM 在电影和电视剧两个赛道上均取得最佳性能，优于 CBVRP 基线方法和 OMKS 方法。
• 在电影测试集上，使用 Softmax 核的 FusedLSTM 达到 hit@50 为 0.545，recall@50 为 0.397，显著超过基线的 0.484 和 0.319。
• 在电视剧测试集上，使用 Softmax 核的 FusedLSTM 达到 hit@50 为 0.484，recall@50 为 0.261，优于基线的 0.463 和 0.237。
• 使用 RBF 核的 FusedLSTM 在电影测试集上达到 hit@50 为 0.552，表明其在高精度检索中具备强大泛化能力。
• 使用 delta 特征的 OMKS 方法表现具有竞争力，电影赛道 hit@50 达 0.501，电视剧赛道达 0.493，表明在线核学习方法的有效性。
• 消融实验确认，FusedLSTM 在所有指标上均持续优于更简单的模型（如两层神经网络和基线方法）。