[论文解读] Joint tone mapping and denoising of thermal infrared images via multi-scale Retinex and multi-task learning

Axel Gödrich, Daniel König+2 more|arXiv (Cornell University)|May 1, 2023

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种用于16位热红外（TIR）图像的联合色调映射与去噪框架，结合多尺度Retinex优化与自监督多任务U-Net深度学习模型。该方法通过联合学习色调映射、去噪与防闪烁处理，显著提升了图像质量，在FLIR ADAS数据集上实现了最先进的性能，TMQI达到0.934，同时降低了噪声可见度与时间不一致性。

ABSTRACT

Cameras digitize real-world scenes as pixel intensity values with a limited value range given by the available bits per pixel (bpp). High Dynamic Range (HDR) cameras capture those luminance values in higher resolution through an increase in the number of bpp. Most displays, however, are limited to 8 bpp. Naive HDR compression methods lead to a loss of the rich information contained in those HDR images. In this paper, tone mapping algorithms for thermal infrared images with 16 bpp are investigated that can preserve this information. An optimized multi-scale Retinex algorithm sets the baseline. This algorithm is then approximated with a deep learning approach based on the popular U-Net architecture. The remaining noise in the images after tone mapping is reduced implicitly by utilizing a self-supervised deep learning approach that can be jointly trained with the tone mapping approach in a multi-task learning scheme. Further discussions are provided on denoising and deflickering for thermal infrared video enhancement in the context of tone mapping. Extensive experiments on the public FLIR ADAS Dataset prove the effectiveness of our proposed method in comparison with the state-of-the-art.

研究动机与目标

• 为解决在标准8位显示器上呈现16 bpp高动态范围（HDR）热红外（TIR）图像时，避免感知细节丢失的挑战。
• 通过联合优化TIR视频序列中的色调映射、降噪与时间一致性，提升图像质量。
• 开发一种基于深度学习的色调映射解决方案，通过自监督训练隐式实现去噪，避免对成对噪声-干净数据的需求。
• 通过参数优化与U-Net架构近似，提升传统多尺度Retinex（MSR）在TIR图像中的性能。
• 在公开的FLIR ADAS数据集上全面评估该方法，并与当前最先进的TIR色调映射算法进行比较。

提出的方法

• 开发了一种优化的多尺度Retinex（MSR）算法作为基线，专注于TIR图像的对比度增强与防闪烁处理。
• 将优化后的MSR输出作为监督训练的真值，使用基于U-Net的深度卷积神经网络（DCNN）进行端到端全监督训练，以模仿色调映射行为。
• 通过在输入图像中加入合成噪声，将自监督去噪引入训练过程，使网络在色调映射过程中隐式学习去噪能力。
• 通过引入时间正则化损失项，提升时间一致性，惩罚帧间强度变化，从而减少视频序列中的闪烁现象。
• 整个网络采用多任务学习范式进行端到端训练，联合优化色调映射、去噪与防闪烁目标。
• 利用U-Net架构的编码器-解码器结构，实现有效特征学习与高分辨率输出生成。

实验结果

研究问题

• RQ1 优化后的多尺度Retinex算法能否作为16位热红外图像色调映射的有效基线？
• RQ2 在联合训练中，基于MSR输出训练的深度学习模型在实现联合去噪的同时，能在多大程度上逼近色调映射行为？
• RQ3 在多任务框架中，与色调映射联合训练的自监督去噪在降低噪声可见度方面效果如何？
• RQ4 引入时间正则化是否能提升TIR视频序列中的全局与局部时间一致性？
• RQ5 所提方法在定量与定性方面与现有最先进的TIR色调映射算法相比表现如何？

主要发现

• 优化后的MSR基线在标准MSR基础上显著提升了色调映射质量，TMQI达到0.923，同时降低了过曝与欠曝指标。
• 基于深度学习的方法（命名为'Learned MSR'）的TMQI达到0.934，优于所有对比方法，包括FLIR（0.951）与Realtime TMO（0.809）。
• 与自监督去噪联合训练后，噪声可见度从30.67降低至26.49，表明实现了有效的隐式噪声抑制。
• 全局时间不一致性降低至5.7e-6，显著优于优化后的MSR（2e-5）及其他基线，证明了有效的防闪烁能力。
• 局部时间不一致性也得到降低，最终方法达到0.0258，表明在视频序列中帧间一致性显著提升。
• 定性结果表明，所提方法在保留细节与对比度的同时，有效抑制了噪声与闪烁，尤其在放大对比中表现明显。