[论文解读] Finding It at Another Side: A Viewpoint-Adapted Matching Encoder for Change Captioning

Xiangxi Shi, Xu Yang+3 more|arXiv (Cornell University)|Sep 30, 2020

Multimodal Machine Learning Applications参考文献 31被引用 6

一句话总结

本文提出了一种新型的视角无关视觉编码器——镜像视角自适应匹配（M-VAM），以及一种强化注意力微调（RAF）模块，用于变化字幕生成。M-VAM 通过建模图像区域之间的特征相似性，显式区分语义变化与视角变化；RAF 则利用语言奖励增强对显著变化的关注。该方法在 Spot-the-Diff 和 CLEVR-Change 数据集上优于当前最先进模型，展现出对视角变化的强鲁棒性。

ABSTRACT

Change Captioning is a task that aims to describe the difference between images with natural language. Most existing methods treat this problem as a difference judgment without the existence of distractors, such as viewpoint changes. However, in practice, viewpoint changes happen often and can overwhelm the semantic difference to be described. In this paper, we propose a novel visual encoder to explicitly distinguish viewpoint changes from semantic changes in the change captioning task. Moreover, we further simulate the attention preference of humans and propose a novel reinforcement learning process to fine-tune the attention directly with language evaluation rewards. Extensive experimental results show that our method outperforms the state-of-the-art approaches by a large margin in both Spot-the-Diff and CLEVR-Change datasets.

研究动机与目标

• 解决视角变化在变化字幕生成中压倒语义差异的挑战。
• 开发一种视觉编码器，显式在特征空间中分离视角变化与语义变化。
• 利用语言评估奖励改进注意力机制对语义变化的对齐。
• 在存在干扰性视角变化的情况下，生成更准确且鲁棒的变化字幕。

提出的方法

• 提出一种镜像视角自适应匹配（M-VAM）编码器，通过计算所有区域对之间的跨图像特征相似性，生成变化与未变化的概率图。
• 利用概率图合成变化与未变化的视觉特征，以提升变化表征能力。
• 引入一种强化注意力微调（RAF）过程，通过扰动注意力图并使用语言奖励进行优化，以精炼对语义变化的关注。
• 采用强化学习方法，以句子级奖励优化模型，减少暴露偏差并提升字幕质量。
• 利用双分支特征匹配机制，将图像间的特征进行镜像对称处理，以增强视角不变性。
• 采用端到端训练方式，结合字幕头，并通过策略梯度方法使用 BLEU 和 CIDEr 分数作为奖励，对注意力进行微调。

实验结果

研究问题

• RQ1 能否设计一种视觉编码器，显式区分图像对中的语义变化与视角变化？
• RQ2 如何优化注意力机制，使其聚焦于语义变化而非由视角引起的伪影？
• RQ3 语言评估奖励能否提升在存在干扰性变化情况下的变化字幕质量与鲁棒性？
• RQ4 所提方法是否能泛化至真实世界与合成数据的变化字幕基准？

主要发现

• 所提出的 M-VAM+RAF 模型在 Spot-the-Diff 与 CLEVR-Change 数据集上均达到最先进性能。
• 在 CLEVR-Change 数据集上，该模型显著优于先前方法，尤其在检测颜色与纹理变化方面表现突出。
• 定性分析表明，RAF 有效增强注意力对实际变化区域的聚焦，减少因视角变化导致的误报。
• 该模型对大范围视角变化表现出强鲁棒性，即使在场景旋转时也能正确识别缺失或改变的物体。
• 在 Spot-the-Diff 的真实世界图像中，模型能准确检测物体的有无变化及位置变化，如人物或车辆。
• RAF 微调过程通过将注意力引导至中心实体及其语义变化，提升了字幕质量，减少了误判。