[论文解读] Multimodal Frame-Scoring Transformer for Video Summarization

Jeiyoon Park, Kiho Kwoun+2 more|arXiv (Cornell University)|Jul 5, 2022

Video Analysis and Summarization被引用 7

一句话总结

本文提出了一种名为多模态帧评分Transformer（MFST）的新框架，通过联合利用视觉、文本和音频特征，预测视频摘要的帧级重要性得分。通过采用基于字幕的注意力机制和模态融合表示学习，MFST在TVSum和SumMe数据集上实现了最先进（SOTA）的性能，F1和基于排名的评估指标均显著优于先前方法。

ABSTRACT

As the number of video content has mushroomed in recent years, automatic video summarization has come useful when we want to just peek at the content of the video. However, there are two underlying limitations in generic video summarization task. First, most previous approaches read in just visual features as input, leaving other modality features behind. Second, existing datasets for generic video summarization are relatively insufficient to train a caption generator used for extracting text information from a video and to train the multimodal feature extractors. To address these two problems, this paper proposes the Multimodal Frame-Scoring Transformer (MFST), a framework exploiting visual, text, and audio features and scoring a video with respect to frames. Our MFST framework first extracts each modality features (audio-visual-text) using pretrained encoders. Then, MFST trains the multimodal frame-scoring transformer that uses multimodal representation based on extracted features as inputs and predicts frame-level scores. Our extensive experiments with previous models and ablation studies on TVSum and SumMe datasets demonstrate the effectiveness and superiority of our proposed method by a large margin in both F1 score and Rank-based evaluation.

研究动机与目标

• 为解决现有视频摘要模型仅依赖视觉特征的局限性，通过整合音频和文本模态来提升性能。
• 通过利用预训练的字幕生成器和多模态特征提取器，缓解通用视频摘要任务中的数据稀缺问题。
• 通过专用的帧评分Transformer融合多模态表征，提升帧级重要性预测性能。
• 证明多模态融合在更准确捕捉人类感知的视频高光点方面，优于单模态或双模态方法。

提出的方法

• 该框架首先使用预训练编码器提取音频、视觉和文本特征。
• 应用基于字幕的注意力机制，在细粒度嵌入层面对齐文本描述与视觉和音频特征。
• 通过粗粒度投影将模态特定的表征进行融合，生成统一的多模态表征。
• 帧评分Transformer接收多模态表征作为输入，并预测帧级重要性得分。
• 模型通过TVSum和SumMe数据集的真值帧级重要性标注进行端到端训练。
• 该框架利用预训练模块，以减少对数据的依赖，并在低资源设置下提升特征学习能力。

实验结果

研究问题

• RQ1 与单模态或双模态模型相比，集成音频、视觉和文本特征是否能显著提升视频摘要性能？
• RQ2 在数据稀缺的视频摘要设置下，使用预训练字幕生成器和多模态特征提取器对性能有何影响？
• RQ3 通过注意力机制和投影实现的模态融合，在多大程度上提升了帧级重要性预测？
• RQ4 所提出的帧评分Transformer架构是否比现有的注意力机制或序列建模方法具有更好的泛化能力？

主要发现

• 在SumMe数据集上，MFST的F1得分为0.595，比次佳方法高出0.053的F1得分。
• 在TVSum数据集上，MFST的F1得分为0.737，领先最接近的竞争对手0.029分。
• 消融研究证实，单独添加音频和文本特征均可提升性能，而完整的三模态设置带来了最大提升。
• 定性分析表明，MFST预测的重要程度得分在峰值和谷值位置上与真实标签高度一致，表明其与人类感知高度吻合。
• 随着每种模态的逐步引入，模型性能持续提升，证明了多模态融合的价值。
• MFST在F1和基于排名的评估指标上均达到SOTA结果，证实其在多种评估标准下的优越性。