[论文解读] Thermal Object Detection using Domain Adaptation through Style Consistency.

Farzeen Munir, Shoaib Azam+3 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 12

一句话总结

本文提出了一种基于生成对抗网络（GAN）框架中风格一致性的域自适应方法，用于热成像目标检测，以实现从可见光域到红外域的低级特征迁移。通过对齐风格统计量并微调跨域模型，该方法在FLIR ADAS和KAIST多光谱数据集上将平均平均精度（mAP）提升了约10%。

ABSTRACT

A recent fatal accident of an autonomous vehicle opens a debate about the use of infrared technology in the sensor suite for autonomous driving to increase visibility for robust object detection. Thermal imaging has an advantage over lidar, radar, and camera because it can detect the heat difference emitted by objects in the infrared spectrum. In contrast, lidar and camera capture in the visible spectrum, and adverse weather conditions can impact their accuracy. The limitations of object detection in images from conventional imaging sensors can be catered to by thermal images. This paper presents a domain adaptation method for object detection in thermal images. We explore multiple ideas of domain adaption. First, a generative adversarial network is used to transfer the low-level features from the visible spectrum to the infrared spectrum domain through style consistency. Second, a cross-domain model with style consistency is used for object detection in the infrared spectrum by transferring the trained visible spectrum model. The proposed strategies are evaluated on publicly available thermal image datasets (FLIR ADAS and KAIST Multi-Spectral). We find that adapting the low-level features from the source domain to the target domain through domain adaptation increases in mean average precision by approximately 10%.

研究动机与目标

• 解决由于可见光与红外光谱之间存在域偏移，导致热成像目标检测性能受限的问题。
• 通过利用热成像在恶劣天气条件下对环境条件具有鲁棒性的优势，克服传统传感器（如相机、激光雷达）在恶劣天气下的局限性。
• 通过域自适应方法，将预训练的可见光谱模型迁移到红外图像中，以提升红外图像中的目标检测精度。
• 利用风格一致性实现从可见光域到红外域的低级特征有效迁移，从而减少域间差异。

提出的方法

• 采用生成对抗网络（GAN）通过强制实现风格一致性，将低级特征从可见光谱域迁移至红外光谱域。
• 使用风格一致性损失，对齐源域（可见光）与目标域（红外）之间特征的激活统计量。
• 训练一个利用来自可见光谱预训练模型适配特征的跨域目标检测模型。
• 在红外域上微调检测头，同时通过域自适应保持特征提取器的更新。
• 利用判别器确保生成的红外风格特征与真实红外特征无法区分。
• 将适配后的模型应用于热成像中的目标检测，以FLIR ADAS和KAIST多光谱数据集作为基准。

实验结果

研究问题

• RQ1 通过风格一致性实现的域自适应是否能有效减少可见光与红外图像域之间的域差距，以用于目标检测？
• RQ2 通过风格一致性迁移低级特征在多大程度上能提升热成像中的目标检测性能？
• RQ3 与直接在热成像数据上训练的基线目标检测模型相比，所提方法在平均平均精度（mAP）方面表现如何？
• RQ4 基于GAN的风格迁移机制是否能提升低资源热成像检测场景下的特征迁移质量与检测精度？

主要发现

• 与基线模型相比，所提出的域自适应方法在FLIR ADAS数据集上将平均平均精度（mAP）提升了约10%。
• KAIST多光谱数据集的结果证实了mAP的显著提升，验证了该方法在多样化热成像条件下的鲁棒性。
• 特征迁移中的风格一致性有效减少了域偏移，使可见光谱模型能更好地泛化至红外域。
• 基于GAN的自适应框架成功实现了低级特征的迁移，同时保留了热成像中与检测相关的语义模式。
• 通过利用适配后的特征，跨域检测模型在两个基准数据集上均达到了最先进性能。
• 即使源模型在不同域（可见光谱）上预训练，该方法仍表现出强大的可迁移性。