[论文解读] Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention

Fuya Luo, Yunhan Li+4 more|arXiv (Cornell University)|Apr 29, 2021

Image Enhancement Techniques被引用 5

一句话总结

本文提出PearlGAN，一种基于生成对抗网络（GAN）的夜间驾驶场景热成像图像着色方法，通过自顶向下的引导注意力机制减少语义模糊性，并采用结构化梯度对齐损失以保持边缘一致性。该方法在语义和几何保真度方面优于现有无监督图像翻译模型，在标注的FLIR和KAIST数据集上通过新的边缘一致性度量得到验证。

ABSTRACT

Benefitting from insensitivity to light and high penetration of foggy environments, infrared cameras are widely used for sensing in nighttime traffic scenes. However, the low contrast and lack of chromaticity of thermal infrared (TIR) images hinder the human interpretation and portability of high-level computer vision algorithms. Colorization to translate a nighttime TIR image into a daytime color (NTIR2DC) image may be a promising way to facilitate nighttime scene perception. Despite recent impressive advances in image translation, semantic encoding entanglement and geometric distortion in the NTIR2DC task remain under-addressed. Hence, we propose a toP-down attEntion And gRadient aLignment based GAN, referred to as PearlGAN. A top-down guided attention module and an elaborate attentional loss are first designed to reduce the semantic encoding ambiguity during translation. Then, a structured gradient alignment loss is introduced to encourage edge consistency between the translated and input images. In addition, pixel-level annotation is carried out on a subset of FLIR and KAIST datasets to evaluate the semantic preservation performance of multiple translation methods. Furthermore, a new metric is devised to evaluate the geometric consistency in the translation process. Extensive experiments demonstrate the superiority of the proposed PearlGAN over other image translation methods for the NTIR2DC task. The source code and labeled segmentation masks will be available at \url{https://github.com/FuyaLuo/PearlGAN/}.

研究动机与目标

• 为解决夜间驾驶中热成像（TIR）图像因缺乏色彩信息与低对比度而影响人类理解及下游视觉任务的问题。
• 通过自顶向下的注意力机制利用分层上下文信息，减少TIR图像翻译中的语义编码模糊性。
• 提升输入TIR图像与生成彩色图像之间的几何一致性，最小化物体边界与边缘的失真。
• 提出一种新的无配对图像到图像翻译几何一致性评估指标，弥补FID分数在该任务中的局限性。
• 通过释放FLIR和KAIST数据集子集的像素级标注掩码，推动未来研究发展。

提出的方法

• 提出一种自顶向下的引导注意力（TDGA）模块，通过多尺度平均池化提取空间上下文信息，并自高层特征向低层特征引导特征注意力。
• 采用注意力损失，通过将注意力图与输入TIR图像中的真实物体位置对齐，显式最小化语义模糊性。
• 提出结构化梯度对齐损失，通过对其Canny边缘图进行对齐，促进输入TIR图像与生成彩色图像之间的边缘一致性。
• 以ToDayGAN框架作为无监督图像到图像翻译的骨干网络，集成TDGA模块与梯度对齐损失以提升性能。
• 采用多阶段训练策略，使TDGA模块在不同尺度上逐步关注从天空（顶部）到道路及物体（中部/底部）的区域。
• 通过新标注的FLIR和KAIST数据集子集验证模型，其包含像素级语义标签，用于评估语义保留性能。

实验结果

研究问题

• RQ1 自顶向下的引导注意力是否能有效减少热成像图像着色中的语义编码模糊性？
• RQ2 梯度对齐在无配对图像到图像翻译中，对夜间驾驶场景的几何一致性提升程度如何？
• RQ3 所提方法在TIR到彩色图像翻译中，与最先进GAN模型相比，在内容与结构保留方面表现如何？
• RQ4 基于边缘一致性的新评估指标是否能比FID更准确反映NTIR2DC任务中的翻译质量？
• RQ5 注意力机制与梯度对齐的结合是否能生成比现有无监督方法更真实且语义忠实的着色结果？

主要发现

• 在FLIR和KAIST数据集上，PearlGAN在语义保留与边缘一致性方面均优于CycleGAN、MUNIT、ToDayGAN及其他基于GAN的方法。
• 所提出的注意力损失有效降低了局部语义模糊性，表现为注意力图与输入TIR图像中物体区域的对齐程度提升。
• 结构化梯度对齐损失显著增强了边缘一致性，减少了物体边界处的几何失真，视觉对比与边缘图分析均证实了这一点。
• 尽管FID得分中等（FLIR为62.7，KAIST为102.2），PearlGAN在内容与几何保真度方面仍优于MUNIT与ToDayGAN，表明FID难以捕捉结构准确性。
• 失败案例显示，由于训练样本有限，罕见物体类别（如公交车）的翻译仍具挑战性，这是所有方法的共性问题。
• FLIR与KAIST数据集子集的像素级标注掩码的发布，为未来TIR图像语义分割与着色研究提供了宝贵基准。