[论文解读] Multi-Frame GAN: Image Enhancement for Stereo Visual Odometry in Low Light

Eunah Jung, Nan Yang+1 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Vision and Imaging被引用 13

一句话总结

本文提出多帧生成对抗网络（MFGAN），一种基于生成对抗网络的新方法，用于增强低光照立体图像序列，以提升立体视觉里程计（VO）的性能。通过利用未配对的数据，并借助基于光流的一致性损失来保证时序与立体一致性，MFGAN 生成了视觉上更优、几何上一致的图像序列，显著提升了在复杂夜间条件下基于特征与直接法的 VO 方法的准确性与鲁棒性。

ABSTRACT

We propose the concept of a multi-frame GAN (MFGAN) and demonstrate its potential as an image sequence enhancement for stereo visual odometry in low light conditions. We base our method on an invertible adversarial network to transfer the beneficial features of brightly illuminated scenes to the sequence in poor illumination without costly paired datasets. In order to preserve the coherent geometric cues for the translated sequence, we present a novel network architecture as well as a novel loss term combining temporal and stereo consistencies based on optical flow estimation. We demonstrate that the enhanced sequences improve the performance of state-of-the-art feature-based and direct stereo visual odometry methods on both synthetic and real datasets in challenging illumination. We also show that MFGAN outperforms other state-of-the-art image enhancement and style transfer methods by a large margin in terms of visual odometry.

研究动机与目标

• 解决在低光照条件下（如夜间驾驶）立体视觉里程计跟踪性能差的挑战。
• 克服现有方法依赖配对训练数据或无法在时间与立体对之间保持几何一致性的局限。
• 开发一种基于学习的图像增强框架，以提升低光照场景下的特征提取与光度误差最小化能力。
• 确保图像翻译中的时空一致性，以维持基于特征与直接法的 VO 方法的可靠相机位姿估计。
• 证明所提方法在视觉里程计背景下，相较于最先进图像增强与风格迁移技术的优越性。

提出的方法

• 将 CycleGAN 适配用于从低光照到良好光照立体序列的未配对图像到图像翻译，避免昂贵的配对数据采集。
• 设计一种新型生成器架构，处理两组连续的立体图像对，通过时间维度上的特征拼接来建模时序依赖性。
• 提出一种基于连续增强帧之间光流的时序一致性损失，以保持运动连贯性。
• 引入基于立体对中左右图像之间光流的立体一致性损失，以维持相机间的几何对齐。
• 在统一的训练目标中结合对抗损失、循环一致性损失与新型一致性损失，实现端到端优化。
• 利用可逆对抗网络，将明亮场景中的有益特征迁移至暗光场景，而无需配对监督。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否在无需配对训练数据的情况下，有效增强低光照立体图像序列，从而提升立体视觉里程计性能？
• RQ2 在图像翻译过程中，如何保持时序与立体一致性，以维持 VO 系统的几何保真度？
• RQ3 所提方法在多大程度上提升了基于特征与直接法的立体 VO 方法在低光照环境下的跟踪精度与鲁棒性？
• RQ4 MFGAN 在 VO 性能方面，与其它最先进图像增强与风格迁移方法相比，其量化表现如何？
• RQ5 所提出的约束损失是否具有泛化能力，可提升真实世界复杂光照条件下 VO 的可靠性？

主要发现

• MFGAN 显著提升了 Stereo ORB-SLAM 在低光照序列中的跟踪点数量，平均从每帧 106 个提升至 289 个。
• ORB-SLAM 在 MFGAN 增强序列上的平均重投影误差降低，有更高比例的点达到更低残差，优于原始夜间图像。
• Stereo DSO 在 MFGAN 增强序列上表现出显著的跟踪精度提升，序列 01 的相对平移误差从 77.6 降低至 5.41，序列 09 从 36.20 降低至 5.57。
• MFGAN 超越 AHE、LIME、DP、ToDayGAN、DRIT 与 LinearTransfer 等方法，在所有序列中均取得最低的相对平移与旋转误差。
• 使用 MFGAN 后，DSO 的平均相对平移误差降至 5.67，ORB-SLAM 为 6.83，而基线方法则超过 44。
• 视觉分析表明，MFGAN 有效去除了耀斑与动态光照伪影，同时保留了图像结构并增强了梯度，从而实现更可靠的特征提取。