[论文解读] Let There be Light: Improved Traffic Surveillance via Detail Preserving Night-to-Day Transfer

Lan Fu, Hongkai Yu+4 more|arXiv (Cornell University)|May 11, 2021

Video Surveillance and Tracking Methods参考文献 52被引用 4

一句话总结

本文提出了一种保留细节的夜-to日图像翻译框架，以实现预训练白昼目标检测器在夜间交通监控中的直接使用。通过结合用于生成合成配对数据的风格混合（StyleMix）与用于高保真度翻译的核预测网络（KPN），该方法在无需微调检测器的情况下，在夜间车辆检测基准上实现了最先进的mAP（87.80%）。

ABSTRACT

In recent years, image and video surveillance have made considerable progresses to the Intelligent Transportation Systems (ITS) with the help of deep Convolutional Neural Networks (CNNs). As one of the state-of-the-art perception approaches, detecting the interested objects in each frame of video surveillance is widely desired by ITS. Currently, object detection shows remarkable efficiency and reliability in standard scenarios such as daytime scenes with favorable illumination conditions. However, in face of adverse conditions such as the nighttime, object detection loses its accuracy significantly. One of the main causes of the problem is the lack of sufficient annotated detection datasets of nighttime scenes. In this paper, we propose a framework to alleviate the accuracy decline when object detection is taken to adverse conditions by using image translation method. We propose to utilize style translation based StyleMix method to acquire pairs of day time image and nighttime image as training data for following nighttime to daytime image translation. To alleviate the detail corruptions caused by Generative Adversarial Networks (GANs), we propose to utilize Kernel Prediction Network (KPN) based method to refine the nighttime to daytime image translation. The KPN network is trained with object detection task together to adapt the trained daytime model to nighttime vehicle detection directly. Experiments on vehicle detection verified the accuracy and effectiveness of the proposed approach.

研究动机与目标

• 解决因缺乏标注的夜间数据而导致夜间目标检测性能不佳的挑战。
• 克服基于GAN的图像翻译方法的局限性，如细节损失和模式崩溃。
• 实现在无需微调的情况下，将预训练的白昼检测模型直接适配到夜间场景。
• 在图像翻译过程中保留结构细节，以提升下游检测精度。
• 开发一种在恶劣光照条件下高效复用现有白昼模型的方法。

提出的方法

• 使用基于风格迁移的StyleMix生成无需真实配对数据的合成配对白昼与夜间图像。
• 利用核预测网络（KPN）通过每像素融合邻近空间上下文来优化夜-to日翻译。
• 将KPN与目标检测任务联合训练，以确保翻译后的图像在视觉上逼真且适合检测。
• 应用预处理技术（如Zero-Reference和对比度增强）在翻译前提升输入夜间图像质量。
• 在StyleMix中使用多样化的夜间风格图像库（包括D&N-Car、BDD和WCT2）进行风格参考选择，以提升域泛化能力。
• 使用基于KPN的翻译模型从夜间输入重建白昼风格图像，然后直接应用预训练的白昼检测器。

实验结果

研究问题

• RQ1 无配对图像翻译结合风格混合能否生成用于训练的逼真且多样的合成夜间图像？
• RQ2 与标准GAN相比，核预测网络是否能更有效地在夜-to日图像翻译中保留结构细节？
• RQ3 将KPN与检测任务联合训练是否能提升在夜间数据上的检测性能？
• RQ4 StyleMix中风格参考的多样性如何影响最终检测系统的鲁棒性与准确性？
• RQ5 所提方法能否在不微调预训练白昼检测器的情况下实现夜间数据的高检测精度？

主要发现

• 所提方法在四个夜间测试子集上实现了87.80%的平均mAP，显著优于基线（62.51%）及其他消融变体。
• 使用来自D&N-Car数据集的五个夜间风格参考进行StyleMix，相比仅使用一个参考，mAP提升了5.2%。
• StyleMix与对比度增强预处理相结合，在Night1上实现了80.20%的mAP，较基线提升了17.69%。
• 基于KPN的优化减少了纹理失真并保留了细粒度结构细节，从而在检测性能上优于标准GAN方法。
• 该方法实现了在翻译后的夜间图像上直接推理预训练白昼检测器，无需模型微调。
• 消融研究证实，StyleMix、KPN和预处理等各组件均对最终检测精度有积极贡献。