[论文解读] Dense Nonrigid Ground Truth for Optical Flow in Real-World Scenes.

Wenbin Li, Darren Cosker+2 more|arXiv (Cornell University)|Mar 26, 2016

Advanced Vision and Imaging参考文献 9被引用 2

一句话总结

本文提出一个密集的、真实世界非刚性光流数据集，其真实值基于同步捕获的近红外（NIR）标记序列生成，可实现对基于RGB的跟踪与配准方法的定量评估。本文还提出一种RGB-NIR多光谱光流模型，通过融合两种光谱通道的互补信息，提升准确性，在新基准上优于现有的仅RGB方法和多光谱方法。

ABSTRACT

In this paper we present a dense ground truth dataset of nonrigidly deforming real-world scenes. Our dataset contains both long and short video sequences, and enables the quantitatively evaluation for RGB based tracking and registration methods. To construct ground truth for the RGB sequences, we simultaneously capture Near-Infrared (NIR) image sequences where dense markers - visible only in NIR - represent ground truth positions. This allows for comparison with automatically tracked RGB positions and the formation of error metrics. Most previous datasets containing nonrigidly deforming sequences are based on synthetic data. Our capture protocol enables us to acquire real-world deforming objects with realistic photometric effects - such as blur and illumination change - as well as occlusion and complex deformations. A public evaluation website is constructed to allow for ranking of RGB image based optical flow and other dense tracking algorithms, with various statistical measures. Furthermore, we present an RGB-NIR multispectral optical flow model allowing for energy optimization by adoptively combining featured information from both the RGB and the complementary NIR channels. In our experiments we evaluate eight existing RGB based optical flow methods on our new dataset. We also evaluate our hybrid optical flow algorithm by comparing to two existing multispectral approaches, as well as varying our input channels across RGB, NIR and RGB-NIR.

研究动机与目标

• 解决缺乏真实世界、非刚性形变场景下密集真实值用于光流评估的问题。
• 实现在具有光照变化和遮挡等真实形变下的RGB跟踪与配准方法的定量基准测试。
• 开发一种结合RGB与NIR数据的多光谱光流模型，以提升准确性。
• 提供一个公开的评估平台，使用统计指标对光流算法进行排名。

提出的方法

• 同步捕获RGB与近红外（NIR）图像序列，其中密集NIR标记提供非刚性形变的真实值。
• 利用NIR标记位置计算对应RGB序列的密集光流真实值。
• 构建一个公开的评估网站，使用多种统计指标对光流算法进行排名。
• 设计一种RGB-NIR多光谱光流模型，通过自适应融合双光谱通道的特征来优化能量函数。
• 应用能量最小化技术，融合RGB与NIR的信息，提升对模糊、光照变化和遮挡的鲁棒性。
• 评估八种现有的RGB光流方法，并将所提出的混合模型与两种多光谱基线方法及不同输入通道（RGB、NIR、RGB-NIR）进行比较。

实验结果

研究问题

• RQ1 所提出的RGB-NIR多光谱光流模型在真实世界非刚性形变场景下，相较于最先进仅RGB方法的表现如何？
• RQ2 在具有挑战性的光照和几何条件下，融合RGB与NIR数据在多大程度上提升了光流精度？
• RQ3 现有RGB光流方法在具有复杂形变和真实世界效应的新数据集上的表现如何？
• RQ4 在非刚性场景中，使用NIR仅数据作为光流估计基线的影响是什么？
• RQ5 不同输入模态（RGB、NIR、RGB-NIR）对新基准上光流算法性能的影响如何？

主要发现

• 所提出的RGB-NIR多光谱光流模型在新数据集上优于仅RGB方法和两种现有多光谱方法。
• 引入NIR数据显著提升了光流精度，尤其在模糊、光照变化和遮挡区域表现更优。
• 现有RGB光流方法在新数据集上的表现相比合成基准有所下降，凸显了真实世界评估的必要性。
• 公开评估网站支持使用多种误差指标对算法进行一致且基于统计的排名。
• 该数据集捕捉了真实的光照效应和复杂形变，相较于合成替代方案更具挑战性和代表性。
• NIR标记的使用使得非刚性运动的密集、精确真实值成为可能，这对可靠评估跟踪与配准系统至关重要。