[论文解读] Learning Modality Interaction for Temporal Sentence Localization and Event Captioning in Videos

Shaoxiang Chen, Wenhao Jiang+2 more|arXiv (Cornell University)|Jul 28, 2020

Multimodal Machine Learning Applications参考文献 3被引用 11

一句话总结

本文提出了一种名为成对模态交互（Pairwise Modality Interaction, PMI）的新方法，通过通道门控双线性模型，在序列和通道两个层面建模视觉、运动、音频及潜在语义模态之间的细粒度成对交互。该方法在四个用于时序句子定位和事件字幕生成的基准数据集上实现了最先进性能，通过增强多模态特征融合并利用学习到的模态重要性权重提供可解释性。

ABSTRACT

Automatically generating sentences to describe events and temporally localizing sentences in a video are two important tasks that bridge language and videos. Recent techniques leverage the multimodal nature of videos by using off-the-shelf features to represent videos, but interactions between modalities are rarely explored. Inspired by the fact that there exist cross-modal interactions in the human brain, we propose a novel method for learning pairwise modality interactions in order to better exploit complementary information for each pair of modalities in videos and thus improve performances on both tasks. We model modality interaction in both the sequence and channel levels in a pairwise fashion, and the pairwise interaction also provides some explainability for the predictions of target tasks. We demonstrate the effectiveness of our method and validate specific design choices through extensive ablation studies. Our method turns out to achieve state-of-the-art performances on four standard benchmark datasets: MSVD and MSR-VTT (event captioning task), and Charades-STA and ActivityNet Captions (temporal sentence localization task).

研究动机与目标

• 解决视频理解任务（如时序句子定位和事件字幕生成）中缺乏显式跨模态交互建模的问题。
• 通过结构化的交互机制，捕捉视觉、运动、音频和潜在语义等多模态之间的互补信息，以提升性能。
• 通过成对交互学习模态重要性权重，增强模型的可解释性。
• 建立一个用于句子定位的多模态框架，该任务此前主要依赖单模态（如C3D）特征。
• 通过消融研究和在标准基准上的对比实验，验证PMI的有效性。

提出的方法

• 提出通道门控双线性模态交互（CGBMI）层，用于在序列和通道两个层面建模每对模态特征序列之间的成对交互。
• 使用可学习的重要性权重融合所有成对交互的输出，以突出相关模态组合。
• 将模态交互集成到视频和文本编码器中，以改善时序定位任务中的视频-文本对齐。
• 扩展方法以引入潜在语义表征作为额外模态，以增强视频内容理解。
• 采用编码器-解码器架构，结合交叉注意力和边界回归，实现字幕生成和定位任务的端到端训练。
• 采用双线性交互机制，捕捉模态特征之间的高阶交互，提升表征质量。

实验结果

研究问题

• RQ1 显式的成对模态交互是否能在时序句子定位和事件字幕生成任务中超越简单特征拼接，提升性能？
• RQ2 不同模态组合（如视觉-音频、运动-视觉）对精确定位和字幕生成的贡献如何？
• RQ3 在序列和通道两个层面同时建模交互，是否比单一层次的交互带来更好的表征学习效果？
• RQ4 模态交互能否提供可解释的洞察，例如识别出对特定预测最具影响力的模态？
• RQ5 所提出的方法是否在多样化的数据集和任务（包括事件字幕和时序定位）上具备良好的泛化能力？

主要发现

• 在Charades-STA数据集上，所提出的PMI-LOC（C+IRV2+A）模型在IoU=0.3时达到58.08%的定位准确率，IoU=0.5时为42.63%，IoU=0.7时为21.32%，优于所有先前方法。
• 在ActivityNet Captions数据集上，PMI-LOC（C+IRV2+A）在IoU=0.3时达到61.22%，IoU=0.5时为40.07%，IoU=0.7时为18.29%，创下新的最先进结果。
• 消融研究证实，加入音频和潜在语义模态可一致提升性能，尤其在复杂或模糊的视频片段中增益最大。
• 定性分析显示，模态交互模式因视频类型而异：运动-视觉用于体育类视频，视觉-音频用于烹饪类视频，潜在语义用于动画内容。
• 模型的模态重要性权重提供了可解释性，能正确识别出特定事件中的主导模态，例如音频对厨房声音的主导作用，或运动模态对动态动作的主导作用。
• 在MSVD和MSR-VTT数据集上，该方法在事件字幕任务中也实现了最先进性能，PMI-CAP优于现有最先进模型。