[论文解读] Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation

Christos Sakaridis, Dengxin Dai+1 more|arXiv (Cornell University)|May 28, 2020

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

本论文提出地图引导的课程域自适应（MGCDA），通过利用地理参考地图和跨不同时段的对应关系，逐步将白天模型适应到更暗的夜间条件，从而提升夜间语义图像分割性能。该方法引入了一种不确定性感知的评估框架，将无效区域纳入基准测试，使模型在新发布的Dark Zurich数据集上实现最先进性能，并增强了在安全关键应用中的鲁棒性。

ABSTRACT

We address the problem of semantic nighttime image segmentation and improve the state-of-the-art, by adapting daytime models to nighttime without using nighttime annotations. Moreover, we design a new evaluation framework to address the substantial uncertainty of semantics in nighttime images. Our central contributions are: 1) a curriculum framework to gradually adapt semantic segmentation models from day to night through progressively darker times of day, exploiting cross-time-of-day correspondences between daytime images from a reference map and dark images to guide the label inference in the dark domains; 2) a novel uncertainty-aware annotation and evaluation framework and metric for semantic segmentation, including image regions beyond human recognition capability in the evaluation in a principled fashion; 3) the Dark Zurich dataset, comprising 2416 unlabeled nighttime and 2920 unlabeled twilight images with correspondences to their daytime counterparts plus a set of 201 nighttime images with fine pixel-level annotations created with our protocol, which serves as a first benchmark for our novel evaluation. Experiments show that our map-guided curriculum adaptation significantly outperforms state-of-the-art methods on nighttime sets both for standard metrics and our uncertainty-aware metric. Furthermore, our uncertainty-aware evaluation reveals that selective invalidation of predictions can improve results on data with ambiguous content such as our benchmark and profit safety-oriented applications involving invalid inputs.

研究动机与目标

• 在不依赖夜间标注的情况下，提升低光照夜间条件下的语义分割性能。
• 解决夜间图像中语义模糊性和视觉退化问题，其中特征变得难以辨识。
• 开发一种系统化的评估框架，将无效（难以辨识）图像区域纳入性能评估。
• 构建一个新的基准数据集Dark Zurich，包含夜间和黄昏图像的精细标注，包括标记的无效区域。
• 通过在不确定性较高时预测'无效'，实现更安全的自主系统感知。

提出的方法

• 提出一种课程学习策略，通过中间暗域逐步将模型从白天适应到夜间，利用时间连续性。
• 使用地理参考数字地图存储白天图像和蒸馏的语义知识，实现与夜间预测的空间自适应融合。
• 采用图像翻译技术将白天数据集风格化为更暗的域，用于监督预训练，提升域泛化能力。
• 设计一种置信度自适应预测融合模块，基于置信度学习可调权重，将暗图像预测与形变后的白天预测进行融合。
• 提出一种新颖的不确定性感知指标UIoU，通过允许'无效'标签并将其视为正确预测，推广标准IoU指标。
• 开发一种使用白天对应图像标注无效区域的协议，实现对人类难以标注的退化区域的可靠标注。

实验结果

研究问题

• RQ1 一种从白天逐步过渡到夜间的课程域自适应策略，能否提升低光照条件下的语义分割性能？
• RQ2 如何在无任何夜间标注的情况下，有效将语义分割模型适应到夜间？
• RQ3 地理参考的白天地图在多大程度上能提升夜间分割的准确性和鲁棒性？
• RQ4 评估指标应如何重新定义，以考虑夜间图像中的语义不确定性和难以辨识区域？
• RQ5 在评估中包含无效区域，能否带来更鲁棒、更安全的自动驾驶预测？

主要发现

• MGCDA在Dark Zurich夜间基准上显著优于最先进方法，在标准指标和不确定性感知指标上均取得更高性能。
• 不确定性感知评估框架表明，对模糊输入选择性地将预测标记为无效，可提升在关键安全场景下的鲁棒性，减少误报。
• Dark Zurich数据集包含201张完全标注的夜间图像和2416张未标注的夜间图像，为夜间语义分割设立了新基准。
• 所提出的UIoU指标推广了标准IoU，通过考虑人类也难以识别的区域，实现了更公平的评估。
• 实验表明，增加白天预测的置信度权重可提升性能，但仅到一定限度，过度使用会导致因错位而降低性能。
• 标注协议成功标记了以往被排除的无效区域，使其可纳入评估，从而提升了模型的可靠性。