[论文解读] Generating Descriptions with Grounded and Co-Referenced People

Anna Rohrbach, Marcus Rohrbach+3 more|arXiv (Cornell University)|Apr 5, 2017

Multimodal Machine Learning Applications参考文献 57被引用 16

一句话总结

本文提出了一种联合视频描述模型，通过注意力机制并利用从角色提及与视觉轨迹之间自动提取的链接进行监督，实现对视频片段中角色提及的视觉定位，并解决连续片段之间的视觉共指问题。该方法在基线模型上显著提升了描述质量和共指消解性能，在 MPII-MD 数据集上通过人工与自动评估均达到当前最优性能。

ABSTRACT

Learning how to generate descriptions of images or videos received major interest both in the Computer Vision and Natural Language Processing communities. While a few works have proposed to learn a grounding during the generation process in an unsupervised way (via an attention mechanism), it remains unclear how good the quality of the grounding is and whether it benefits the description quality. In this work we propose a movie description model which learns to generate description and jointly ground (localize) the mentioned characters as well as do visual co-reference resolution between pairs of consecutive sentences/clips. We also propose to use weak localization supervision through character mentions provided in movie descriptions to learn the character grounding. At training time, we first learn how to localize characters by relating their visual appearance to mentions in the descriptions via a semi-supervised approach. We then provide this (noisy) supervision into our description model which greatly improves its performance. Our proposed description model improves over prior work w.r.t. generated description quality and additionally provides grounding and local co-reference resolution. We evaluate it on the MPII Movie Description dataset using automatic and human evaluation measures and using our newly collected grounding and co-reference data for characters.

研究动机与目标

• 解决生成联合定位角色于视觉片段并解决连续片段之间共指问题的挑战。
• 通过在生成过程中整合视觉定位与共指消解，而非作为后处理步骤，从而提升描述质量。
• 开发一种弱监督方法，仅使用文本中的角色提及与视觉轨迹进行角色定位学习，无需完整人工标注。
• 通过将视觉表现跨片段关联，实现使用代词与命名身份（如 'Sophia'）对角色的一致引用。
• 发布 MPII-Movie Description 数据集上新的角色定位与共指标注，以支持未来研究。

提出的方法

• 采用两阶段聚类方法检测并跟踪视频帧中的人脸，实现角色的视觉定位。
• 通过扩展的注意力机制，联合学习选择视觉轨迹（定位）与链接至前序片段（共指消解）。
• 模型通过从文本中角色提及与视觉轨迹之间自动提取的链接进行监督，该方法为弱监督。
• 利用头部区域的统计特征与 ResNet 的活动特征，以提升共指消解与定位的准确性。
• 系统端到端训练，同时生成描述、定位角色并利用代词与命名身份解决共指问题。
• 消融实验证明，定位与共指监督对性能至关重要，且额外特征（如 ResNet、活动特征）可进一步提升结果。

实验结果

研究问题

• RQ1 端到端模型能否同时生成高质量的视频描述、在视觉片段中定位角色提及，并解决连续片段之间的共指问题？
• RQ2 从文本提及与视觉轨迹之间自动提取的链接进行弱监督，在提升共指消解方面有多有效？
• RQ3 联合学习定位与共指消解是否能带来优于后处理基线的描述质量？
• RQ4 视觉特征（如头部统计特征、ResNet 特征）的引入如何影响定位与共指性能？
• RQ5 在大规模测试集中，模型能否正确处理角色不存在或未被提及的片段？

主要发现

• 所提模型在 MPII-MD 数据集上达到当前最优性能，BLEU-4 得分为 69.17，CIDEr 得分为 53.92，优于所有基线模型。
• 消融实验表明，若移除定位与共指监督（w/o α），共指 F1 从 33.88 降至 20.41，证明其关键作用。
• 若不使用统计特征（w/o stat.feat.），性能下降，表明这些特征对准确的共指消解至关重要。
• 包含 ResNet 与活动特征的模型在共指任务上取得最高 F1 得分 37.92，表明更丰富的视觉特征可提升性能。
• 自动构建真实标签链接的方法具有高可靠性，在人工标注子集上准确率达 89.10%，支持稳健训练。
• 在完整测试集上，该模型在所有指标上均优于所有基线模型，尤其在处理无角色片段时表现更优，展现出对数据分布偏移的鲁棒性。