[论文解读] Hierarchical Modular Network for Video Captioning

Hanhua Ye, Guorong Li+4 more|arXiv (Cornell University)|Nov 24, 2021

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出了一种用于视频字幕生成的分层模块化网络，通过在每一层对齐视频特征与语言语义，学习多层级视觉表征——实体、谓词和句子。该方法采用基于Transformer的实体模块来选择显著对象，显著提升了字幕生成性能，在MSVD上达到SOTA的CIDEr得分104.0，在MSR-VTT上达到51.5。

ABSTRACT

Video captioning aims to generate natural language descriptions according to the content, where representation learning plays a crucial role. Existing methods are mainly developed within the supervised learning framework via word-by-word comparison of the generated caption against the ground-truth text without fully exploiting linguistic semantics. In this work, we propose a hierarchical modular network to bridge video representations and linguistic semantics from three levels before generating captions. In particular, the hierarchy is composed of: (I) Entity level, which highlights objects that are most likely to be mentioned in captions. (II) Predicate level, which learns the actions conditioned on highlighted objects and is supervised by the predicate in captions. (III) Sentence level, which learns the global semantic representation and is supervised by the whole caption. Each level is implemented by one module. Extensive experimental results show that the proposed method performs favorably against the state-of-the-art models on the two widely-used benchmarks: MSVD 104.0% and MSR-VTT 51.5% in CIDEr score.

研究动机与目标

• 通过引入细粒度语言监督，弥合视频表征与语言字幕之间的语义鸿沟。
• 通过学习与字幕中实体、谓词和完整句子相对应的分层视觉表征，提升视频字幕生成性能。
• 开发一种新型实体模块，基于与字幕内容的相关性，从所有检测到的对象中选择主要对象。
• 通过建模谓词（动词+名词）而非仅动词，减少动词表征的歧义性。
• 通过全字幕嵌入监督句子层级表征，提升字幕的全局连贯性。

提出的方法

• 该模型采用三级分层框架：实体、谓词和句子模块，每个模块由相应的语言单元进行监督。
• 实体模块采用基于Transformer的编码器-解码器架构，使用增强视频内容的查询，以识别最相关的字幕生成对象。
• 谓词模块在突出显示的实体基础上学习动作表征，由字幕中的谓词（动词+名词）进行监督。
• 句子模块学习一个由整个字幕嵌入监督的全局视频表征，确保语义连贯性。
• 所有模块通过多层级监督进行端到端训练，实现视觉与语言表征的联合优化。
• 实体模块通过可学习的查询机制进行训练，该机制关注视频内容，并由真实实体（而非抽象名词）进行监督。

实验结果

研究问题

• RQ1 多层级语言监督（实体、谓词和句子）是否能通过更好地对齐视频表征与语言语义，提升视频字幕生成性能？
• RQ2 通过专用实体模块选择主要对象，是否能带来更准确、更聚焦的字幕生成？
• RQ3 与仅建模动词相比，建模谓词（动词+名词）在表征质量和字幕准确性方面有何影响？
• RQ4 分层监督在多大程度上减少了视频内容与自然语言描述之间的语义鸿沟？
• RQ5 实体模块中查询数量如何影响显著对象的选择及整体字幕生成性能？

主要发现

• 所提模型在MSVD基准上实现了SOTA的CIDEr得分104.0，优于先前的SOTA方法。
• 在MSR-VTT基准上，模型达到51.5的CIDEr得分，尽管数据集复杂，仍表现出强劲性能。
• 消融实验表明，若将实体监督替换为名词监督，或将谓词监督替换为动词监督，性能显著下降，证实了细粒度监督的价值。
• 若从实体模块的查询中移除视频内容信息，性能明显下降，证明了内容感知查询增强的重要性。
• 实体模块中的查询数量对性能具有非单调影响，最优性能在中等数量的查询（如5–10个）时达到。
• 定性结果表明，实体模块能正确识别显著对象，并在多样化视频场景中忽略冗余或无关对象。