[论文解读] Enhancing Object Detection in Adverse Conditions using Thermal Imaging

Kshitij Agrawal, Anbumani Subramanian|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 24被引用 8

一句话总结

本文提出融合可见光与热成像以提升在夜间及恶劣天气等不利条件下的目标检测性能，采用同步的RGB与热成像数据的FLIR ADAS数据集。结果表明，在低光照场景下，基于热成像数据训练的模型显著提升了检测准确率，而可见光谱模型在夜间图像上表现不佳，凸显了热成像在提升自动驾驶系统感知鲁棒性方面的价值。

ABSTRACT

Autonomous driving relies on deriving understanding of objects and scenes through images. These images are often captured by sensors in the visible spectrum. For improved detection capabilities we propose the use of thermal sensors to augment the vision capabilities of an autonomous vehicle. In this paper, we present our investigations on the fusion of visible and thermal spectrum images using a publicly available dataset, and use it to analyze the performance of object recognition on other known driving datasets. We present an comparison of object detection in night time imagery and qualitatively demonstrate that thermal images significantly improve detection accuracy.

研究动机与目标

• 解决可见光谱相机在低光照及恶劣天气条件下用于自动驾驶感知的局限性。
• 探究在驾驶场景中基于热成像数据训练目标检测器的可行性与性能表现。
• 评估可见光域与热成像域之间的域迁移，以评估模型在不同光谱模态间的泛化能力。
• 证明热成像可显著提升夜间条件下检测的准确性，而可见光相机在此类场景下表现不佳。

提出的方法

• 采用FLIR ADAS数据集，该数据集提供14,452张热成像图像的同步可见光与热成像图像，并附带COCO风格标注。
• 应用基于8点单应变换的2D图像配准技术，将热成像图像中的边界框标注迁移至对应的可见光图像。
• 使用ResNet-101主干网络在三个数据集上训练Faster R-CNN：FLIR热成像数据（FLIR_THM）、印度驾驶数据集（IDD）和KITTI。
• 通过在不同域之间进行交叉域评估（例如，用可见光域训练的模型测试于热成像域），评估域偏移与模型可迁移性。
• 使用预训练的COCO权重初始化Faster R-CNN模型，并在每个数据集上微调180,000次迭代。
• 对不同数据集（FLIR、IDD、KITTI）的类别标签进行映射，以实现基于统一标签映射方案的一致性评估。

实验结果

研究问题

• RQ1 基于热成像数据训练的目标检测模型是否在夜间驾驶条件下表现优于可见光谱模型？
• RQ2 从可见光域到热成像域迁移时，域偏移在多大程度上影响目标检测器的性能？
• RQ3 将多个可见光谱数据集（如IDD、KITTI）的训练数据进行联合训练，是否能提升在热成像或夜间场景下的泛化能力？
• RQ4 在自动驾驶应用中，从可见光谱模型进行少样本迁移学习到热成像数据的效率如何？

主要发现

• 在FLIR热成像图像上测试时，基于可见光谱数据（IDD和KITTI）训练的模型mAP分别下降了2.6倍和13倍，表明域迁移性能极差。
• 仅在FLIR热成像数据上训练的模型在夜间可见光图像上的mAP仅为0.237，较基线性能下降40%，表明其向可见光域的迁移能力有限。
• 在相同数据集上，IDD模型在夜间可见光图像上实现了最高的mAP（0.341），因其与昼夜场景分布更匹配。
• 在相同数据集上，KITTI模型在其原生域中的mAP为0.935，但在热成像图像上仅达0.070 mAP，证实了严重的域偏移。
• 仅使用热成像数据训练的模型在热成像图像上测试时mAP为0.160，表明仅依赖热成像数据不足以实现高精度检测。
• 本研究证实，热成像可显著提升低能见度条件下的检测性能，尤其在夜间，此时可见光谱模型完全失效。