[论文解读] Detection and Description of Change in Visual Streams

Davis Gilton, Ruotian Luo+2 more|arXiv (Cornell University)|Mar 27, 2020

Multimodal Machine Learning Applications参考文献 53被引用 4

一句话总结

本文提出了一种半监督框架，利用变化的自然语言描述来提升视觉流变化检测性能，采用基于正则化图割的检测器，整合了学习到的变化证据与一致性表征。该方法在标注数据有限的情况下显著优于仅使用图像的基线模型，证明了语言监督能够提升视觉变化分析中的检测准确率与泛化能力。

ABSTRACT

This paper presents a framework for the analysis of changes in visual streams: ordered sequences of images, possibly separated by significant time gaps. We propose a new approach to incorporating unlabeled data into training to generate natural language descriptions of change. We also develop a framework for estimating the time of change in visual stream. We use learned representations for change evidence and consistency of perceived change, and combine these in a regularized graph cut based change detector. Experimental evaluation on visual stream datasets, which we release as part of our contribution, shows that representation learning driven by natural language descriptions significantly improves change detection accuracy, compared to methods that do not rely on language.

研究动机与目标

• 为解决在卫星或街景图像等视觉流中检测并描述相关变化（如光照或视角变化等干扰性变化）的挑战。
• 开发一种联合学习框架，通过引入自然语言描述的变化信息，即使在标注数据有限的情况下，也能提升变化检测的准确率。
• 构建并发布两个新数据集——CLEVR-Sequence 和 Street Change——用于视觉流变化检测与描述，支持半监督学习。
• 证明语言引导的表征能够超越仅使用图像监督的检测性能。

提出的方法

• 提出一种半监督训练方案，联合训练一个变化描述生成器与一个变化判别器，使用带有描述的标注图像对以及大量未标注的图像对。
• 该方法采用正则化图割损失函数，包含两个组成部分：(1) 来自学习到的图像对表征的变化证据，以及 (2) 跨过变化点的图像对之间感知到的变化一致性。
• 一致性损失通过描述生成器的隐藏状态与变化判别器的输出计算，确保在不同图像对中对相似变化的检测保持一致。
• 框架采用类似孪生网络的结构进行图像对编码，最终隐藏表征用于计算变化得分。
• 超参数 λ 控制变化证据与一致性的权衡，通过保留的验证集进行优化。
• 在两个新数据集上评估该方法：CLEVR-Sequence（合成）与 Street Change（真实世界），性能通过精确率-召回率曲线与平均精度均值（mAP）进行衡量。

实验结果

研究问题

• RQ1 与仅使用图像的方法相比，视觉流中变化的自然语言描述是否能提升变化检测的准确率？
• RQ2 在标注数据稀缺的情况下，利用未标注图像对进行半监督学习在多大程度上能提升性能？
• RQ3 在图像对之间引入表征一致性如何影响变化检测的鲁棒性与准确率？
• RQ4 联合学习描述生成与变化检测是否能带来优于单独训练两个任务的泛化性能？

主要发现

• 采用语言引导表征的方法（RC）在 CLEVR-Sequence 上达到 87.5% 的 mAP，在 Street Change 上达到 73.0% 的 mAP，显著优于仅使用图像的基线模型。
• 添加未标注数据能持续提升性能，当标注数据有限时（如 L=1k），半监督方法超越了完全监督的基线模型。
• 在 CLEVR-Sequence 上，带有语言监督的正则化图割方法（RC）在 4 帧容忍窗口下达到 92.9% 的精确率（召回率为 1.0），而仅使用图像的基线方法（Step-IO）仅为 65.8%。
• 仅使用表征一致性损失（RC-IO λ=0）也优于逐帧处理方法，表明一致性是一种对变化检测具有价值的归纳偏置。
• 在 Street Change 数据集上，该方法在 4 帧容忍窗口下达到 73.2% 的 mAP，展现出对真实世界视觉流的强大泛化能力。
• 当标注数据稀缺时，语言监督带来的性能增益最为显著，证实语言提供了比仅使用变化时间戳更丰富的监督信号。