[论文解读] LIFE: Lighting Invariant Flow Estimation

Zhaoyang Huang, Xiaokun Pan+5 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Vision and Imaging参考文献 59被引用 5

一句话总结

LIFE 提出了一种弱监督深度学习框架，用于在存在显著光照变化的图像对之间估计密集光流，利用从运动结构（SfM）推导出的相机位姿所获得的对称对极距离损失，以及合成的几何变换来指导光流预测。该方法在极端光照条件下实现了最先进性能，并显著提升了稀疏特征匹配和下游视觉定位任务的表现。

ABSTRACT

We tackle the problem of estimating flow between two images with large lighting variations. Recent learning-based flow estimation frameworks have shown remarkable performance on image pairs with small displacement and constant illuminations, but cannot work well on cases with large viewpoint change and lighting variations because of the lack of pixel-wise flow annotations for such cases. We observe that via the Structure-from-Motion (SfM) techniques, one can easily estimate relative camera poses between image pairs with large viewpoint change and lighting variations. We propose a novel weakly supervised framework LIFE to train a neural network for estimating accurate lighting-invariant flows between image pairs. Sparse correspondences are conventionally established via feature matching with descriptors encoding local image contents. However, local image contents are inevitably ambiguous and error-prone during the cross-image feature matching process, which hinders downstream tasks. We propose to guide feature matching with the flows predicted by LIFE, which addresses the ambiguous matching by utilizing abundant context information in the image pairs. We show that LIFE outperforms previous flow learning frameworks by large margins in challenging scenarios, consistently improves feature matching, and benefits downstream tasks.

研究动机与目标

• 解决因光照和视角变化显著而缺乏密集光流标注的问题。
• 开发一种弱监督学习框架，利用从运动结构（SfM）获得的相机位姿估计作为光流估计的监督信号。
• 通过所提出网络预测的光照不变光流来引导稀疏特征匹配，从而提升匹配质量。
• 在真实世界场景中，于极端光照变化条件下，提升视觉定位和三维重建等下游任务的性能。

提出的方法

• 利用 SfM 获得的相对相机位姿计算对称对极距离，作为光流估计的弱监督信号。
• 提出一种对称对极距离损失，约束预测光流位于对极线上，允许沿直线滑动，同时保持几何一致性。
• 使用合成的几何变换（如单应性变换）生成像素级光流监督，与对极损失互补，提升精度。
• 采用双向光流训练（BiT 损失），在两个方向上强制保持一致性，提高对遮挡和模糊区域的鲁棒性。
• 实现自适应循环一致性（AC）损失，仅对低误差光流预测应用循环一致性，减少遮挡区域的误差传播。
• 分两个阶段引导稀疏特征匹配：首先使用标准描述子进行匹配，然后利用 LIFE 预测的光流对匹配结果进行精炼，以减少歧义和异常值。

实验结果

研究问题

• RQ1 SfM 相机位姿提供的对称对极距离损失能否作为学习光照不变光流的有效弱监督信号？
• RQ2 将合成几何变换与对极约束相结合，能否在大光照变化下提升光流估计的准确性？
• RQ3 光照不变光流在多大程度上能提升稀疏特征匹配的质量，体现在内点率和匹配数量上？
• RQ4 所提出的框架是否能提升视觉定位等下游任务在挑战性光照条件下的性能？

主要发现

• LIFE 在 KITTI 和 HPatches 基准测试中均达到最先进性能，在 HPatches-I(T) 上将平均端点误差（AEPE）降低至 2.59，在 KITTI 2015 上降低至 8.30。
• 对称对极距离损失、BiT 损失与自适应循环一致性（SED+BiT+AC）的组合表现最佳，优于各独立组件。
• LIFE+R2D2 在 Aachen 夜间基准测试中，于 0.5m、5° 阈值下实现 94.9% 的定位准确率，位列所有测试方法之首。
• LIFE 通过提升内点率和匹配数量，改善了稀疏匹配质量：例如，使用 LIFE 引导匹配后，R2D2 的匹配数从 1.8K 增至 2.1K。
• 采用 LIFE 引导匹配后，匹配数量增加，尽管 MMA 略微下降，表明新增匹配的准确性稍低但数量更多，整体提升了鲁棒性。
• 在 Aachen 夜间数据集上，LIFE+R2D2 在 5m、10° 阈值下实现 100% 准确率，优于 SuperGlue 及其他最先进方法。