[论文解读] Deep Multimodal Feature Encoding for Video Ordering

Vivek Sharma, Makarand Tapaswi+1 more|arXiv (Cornell University)|Apr 5, 2020

Human Pose and Action Recognition参考文献 65被引用 6

一句话总结

本文提出时序紧凑双线性池化（TCBP），一种自监督方法，通过在时间片段间融合视觉、音频和文本特征，学习紧凑的多模态视频表征。TCBP 通过一种新颖的代理任务——对无序视频片段进行排序——进行训练，在动作识别任务上达到最先进性能，在 UCF101 和 HMDB51 上优于 C3D 和双流网络等方法，通过利用联合的时间与多模态交互实现。

ABSTRACT

True understanding of videos comes from a joint analysis of all its modalities: the video frames, the audio track, and any accompanying text such as closed captions. We present a way to learn a compact multimodal feature representation that encodes all these modalities. Our model parameters are learned through a proxy task of inferring the temporal ordering of a set of unordered videos in a timeline. To this end, we create a new multimodal dataset for temporal ordering that consists of approximately 30K scenes (2-6 clips per scene) based on the "Large Scale Movie Description Challenge". We analyze and evaluate the individual and joint modalities on three challenging tasks: (i) inferring the temporal ordering of a set of videos; and (ii) action recognition. We demonstrate empirically that multimodal representations are indeed complementary, and can play a key role in improving the performance of many applications.

研究动机与目标

• 开发一种紧凑的联合多模态表征，用于融合视频片段的视觉、音频和文本特征。
• 引入一种自监督代理任务——无序视频片段的时间排序，以在无需昂贵标注的情况下学习片段级表征。
• 构建一个包含约 30,000 个有序电影场景的新多模态数据集（每个场景包含 2–6 个片段），用于训练与评估。
• 评估多模态融合与时间建模在视频理解任务中的有效性。
• 证明 TCBP 能够提升下游任务（如动作识别）的性能。

提出的方法

• 提出时序紧凑双线性池化（TCBP），作为基于张量草图的紧凑双线性池化的扩展，以整合视频片段间的时间动态特性。
• 使用深度预训练模型（如 C3D、ResNet）提取视觉与音频特征，使用 CLIP 获取文本嵌入。
• 将 TCBP 应用于多个时间片段（通常为 2–5 秒）之间模态间的成对交互，生成大小为 8192 的紧凑特征向量。
• 使用对比损失进行模型训练，正负样本对损失函数为：$\mathcal{L} = \sum_{(V_i,V_j)\in Pos} L(V_i,V_j) + \sum_{(V_i,V_j^\prime)\in Neg} \max(0, \alpha - L(V_i,V_j^\prime))$，其中边界值 $\alpha = 0.2$。
• 采用类似 Siamese 的双塔网络架构，用于比较片段对并预测其正确的时间顺序。
• 使用 TSN 架构，包含 3 个片段，每个片段通过 C3D 处理，随后进行逐元素相乘与 TCBP 最终编码。

实验结果

研究问题

• RQ1 基于视频片段排序的自监督代理任务是否能有效学习到鲁棒的多模态表征？
• RQ2 各模态（视觉、音频、文本）及其联合编码在时间排序性能中分别起到何种作用？
• RQ3 作为紧凑多模态编码方法，TCBP 是否能提升下游视频理解任务（如动作识别）的性能？
• RQ4 与现有池化方法（如双线性池化或 NetVLAD）相比，TCBP 在捕捉时间与跨模态交互方面表现如何？
• RQ5 负样本在多大程度上提升了时间排序表征的学习效果？

主要发现

• TCBP 在 UCF101 上达到 88.03% 的准确率，在 HMDB51 上达到 61.58%，优于 C3D（82.3% 和 56.8%）、双流网络（88.0% 和 59.4%）以及 iDT+FV（85.9% 和 57.2%）。
• 训练过程中引入负样本可提升性能，相较于仅使用正样本训练，表明泛化能力更强。
• 联合多模态表征（视觉、音频、文本）在时间排序任务中优于单模态表征，体现出模态间的互补性。
• TCBP 显著优于双线性池化（CBP）与 iDT+FV，表明其在建模时间与跨模态交互方面的有效性。
• 该模型在无需额外数据或微调的情况下实现动作识别的最先进性能，凸显所学习特征的鲁棒性。
• 所提出的约 30,000 个有序电影场景数据集为未来多模态视频理解研究提供了宝贵的基准。