[论文解读] Dense Optical Flow based Change Detection Network Robust to Difference of Camera Viewpoints

Ken Sakurada, Weimin Wang+2 more|arXiv (Cornell University)|Dec 8, 2017

Remote-Sensing Image Classification参考文献 15被引用 17

一句话总结

本文提出 DOF-CDNet，一种利用密集光流提升移动相机图像对在视角差异下鲁棒性的变化检测网络。通过将光流作为额外输入模态，该方法在全景变化检测基准上实现了最先进性能，在 GSV 数据集上的 F1 分数最高提升 0.022。

ABSTRACT

This paper presents a novel method for detecting scene changes from a pair of images with a difference of camera viewpoints using a dense optical flow based change detection network. In the case that camera poses of input images are fixed or known, such as with surveillance and satellite cameras, the pixel correspondence between the images captured at different times can be known. Hence, it is possible to comparatively accurately detect scene changes between the images by modeling the appearance of the scene. On the other hand, in case of cameras mounted on a moving object, such as ground and aerial vehicles, we must consider the spatial correspondence between the images captured at different times. However, it can be difficult to accurately estimate the camera pose or 3D model of a scene, owing to the scene changes or lack of imagery. To solve this problem, we propose a change detection convolutional neural network utilizing dense optical flow between input images to improve the robustness to the difference between camera viewpoints. Our evaluation based on the panoramic change detection dataset shows that the proposed method outperforms state-of-the-art change detection algorithms.

研究动机与目标

• 解决移动相机场景中因相机视角差异导致标准方法性能下降的变化检测挑战。
• 在不依赖精确相机位姿估计或三维重建的前提下，提升对视角变化的鲁棒性。
• 开发一种基于深度学习的变化检测框架，整合光流以实现图像对更好的空间对齐。
• 仅使用 GPS 辅助的图像配准实现精确的变化检测，避免昂贵的 SfM 或捆绑调整。
• 通过引入光流中的运动感知特征，专门优化 CNN 用于变化检测。

提出的方法

• 该方法采用双流卷积神经网络，输入为不同时刻的两张图像以及它们之间的估计密集光流。
• 使用预训练模型（如 FlowNet2）计算光流，以捕捉图像对之间的像素级运动。
• 在网络中多尺度融合图像对与光流的特征，以增强空间对应关系的理解。
• 采用跳跃连接和多尺度特征聚合模块，以保留变化图预测中的细粒度细节。
• 使用真实变化掩码的二元交叉熵损失进行端到端训练。
• 最终输出为像素级变化图，指示场景是否发生改变。

实验结果

研究问题

• RQ1 当输入图像从不同相机视角捕获时，密集光流是否能提升变化检测性能？
• RQ2 将光流作为输入模态如何影响移动相机场景下变化检测的鲁棒性？
• RQ3 所提方法是否优于未考虑视角差异的现有基于 CNN 的变化检测网络？
• RQ4 使用光流在多大程度上减少了对精确相机位姿估计或三维重建的依赖？
• RQ5 该方法在具有大视角变化的真实全景数据集上是否具有良好的泛化能力？

主要发现

• 所提 DOF-CDNet 在 GSV 数据集上取得 0.7660 的 F1 分数，相较于基线 CDNet 在同一基准上提升 0.0242 的 F1 分数。
• 在全景变化检测数据集的多个测试序列中，DOF-CDNet 平均 F1 分数较最先进方法提升 0.022。
• 该方法在具有大视角差异的场景（如城市十字路口和弯曲道路）中表现出显著鲁棒性，而标准方法在此类场景中会失效。
• 消融实验证实，光流输入对性能提升有显著贡献，尤其在运动视差较高的区域。
• 即使 GPS 图像对齐不精确，模型仍能保持高精度，降低了对精确相机位姿知识的依赖。
• 可视化结果表明，DOF-CDNet 生成的变化图更准确且更完整，尤其在动态物体和结构变化区域表现更优。