[论文解读] MHMS: Multimodal Hierarchical Multimedia Summarization

Jielin Qiu, Jiacheng Zhu+7 more|arXiv (Cornell University)|Apr 7, 2022

Video Analysis and Summarization被引用 12

一句话总结

MHMS 提出了一种多模态分层框架，通过最优传输实现跨域对齐，以生成联合的视频与文本摘要。它在三个数据集上均优于单模态基线模型，表明通过结构化、可解释的特征对齐，多模态交互显著提升了摘要质量。

ABSTRACT

Multimedia summarization with multimodal output can play an essential role in real-world applications, i.e., automatically generating cover images and titles for news articles or providing introductions to online videos. In this work, we propose a multimodal hierarchical multimedia summarization (MHMS) framework by interacting visual and language domains to generate both video and textual summaries. Our MHMS method contains video and textual segmentation and summarization module, respectively. It formulates a cross-domain alignment objective with optimal transport distance which leverages cross-domain interaction to generate the representative keyframe and textual summary. We evaluated MHMS on three recent multimodal datasets and demonstrated the effectiveness of our method in producing high-quality multimodal summaries.

研究动机与目标

• 为现实应用中如新闻报道和视频导览等场景，解决对高质量多模态摘要的需求。
• 通过建模视频与文本模态的分段表示，而非将整个视频或文档视为单一单元，来提升摘要质量。
• 通过跨模态交互学习联合表示，特别是利用最优传输进行对齐，从而提升摘要质量。
• 通过可视化视觉与文本特征之间的传输计划，实现多模态对齐的可解释性。
• 证明多模态交互在生成信息丰富、简洁摘要方面，相较于单模态方法具有显著优势。

提出的方法

• MHMS 将摘要任务分解为专门的模块，分别处理视频和文本的分割与摘要，实现分层处理。
• 它采用最优传输计算视觉与文本嵌入之间的跨域对齐，建模关键帧与关键句子之间的对应关系。
• 该框架采用联合表示学习策略，通过可微分的对齐目标，促进模态间的语义一致性。
• 对于单模态基线模型，它在图像直方图（视觉）和 BERT 嵌入（文本）上应用 K-Means 聚类，以选择代表性帧和句子。
• 通过可视化传输计划，解释学习到的对齐关系，揭示匹配图像-文本对之间的结构化对应。
• 模型采用多任务目标端到端训练，联合优化两个模态的分割与摘要任务。

实验结果

研究问题

• RQ1 与单模态方法相比，分层多模态框架是否能提升视频与文本摘要的质量？
• RQ2 最优传输在建模视觉与文本表示之间的跨模态对齐方面，效果如何？
• RQ3 对视频与文本进行分段处理，是否能带来比全局视频/文档级建模更准确、更丰富的摘要？
• RQ4 与仅使用视觉或文本模态相比，多模态交互在多大程度上提升了摘要性能？
• RQ5 学习到的传输计划是否能为视觉与文本组件之间的对齐提供可解释的洞察？

主要发现

• 在 VMSMO 数据集上，多模态 MHMS 方法取得了 25.4 的 ROUGE-L 分数，优于单模态文本基线（24.1）和视觉基线（0.693 MAP）。
• 在 Daily Mail 数据集上，MHMS 取得了 32.35 的 ROUGE-L 分数，超过单模态文本基线（31.89），并与参考摘要保持 72.45% 的余弦相似度。
• 消融实验表明，多模态融合在所有指标上均持续优于单模态基线，尤其在 ROUGE 和 MAP 指标上提升最大。
• 最优传输计划的可视化揭示了匹配图像-文本对之间结构化、稀疏的耦合关系，表明存在有意义的语义对齐。
• 非匹配对呈现出密集且无结构的传输计划，证实模型能够有效区分相关与不相关的跨模态配对。
• 该框架在三个多样化的多模态数据集上均表现出强泛化能力，验证了其鲁棒性与可扩展性。