[论文解读] A Novel Registration & Colorization Technique for Thermal to Cross Domain Colorized Images.

Suranjan Goswami, Satish Kumar Singh|arXiv (Cornell University)|Jan 18, 2021

Advanced Image Fusion Techniques被引用 4

一句话总结

本文提出了一种用于多源热成像的新型配准技术，以及一种将热成像特征与类光学色彩化结合的跨域色彩化方法。该方法实现了热成像与可见光域特征的联合表征，通过一个全新的公开热成像-光学图像配对数据集进行了验证，在配准精度和感知保真度方面优于先前的方法。

ABSTRACT

Thermal images can be obtained as either grayscale images or pseudo colored images based on the thermal profile of the object being captured. We present a novel registration method that works on images captured via multiple thermal imagers irrespective of make and internal resolution as well as a colorization scheme that can be used to obtain a colorized thermal image which is similar to an optical image, while retaining the information of the thermal profile as a part of the output, thus providing information of both domains jointly. We call this a cross domain colorized image. We also outline a new public thermal-optical paired database that we are presenting as a part of this paper, containing unique data points obtained via multiple thermal imagers. Finally, we compare the results with prior literature, show how our results are different and discuss on some future work that can be explored further in this domain as well.

研究动机与目标

• 为解决来自不同分辨率和品牌热像仪的热成像图像之间配准的挑战。
• 开发一种色彩化技术，在保留热成像特征数据的同时生成视觉上逼真的类光学图像。
• 创建一个包含多样化热成像源的新型公开热成像-光学图像配对数据集，以支持跨域图像研究。
• 实现在单一图像输出中联合表征热成像与可见光域信息。
• 通过提升配准精度与感知真实感，超越现有方法在热成像配准与色彩化质量方面的表现。

提出的方法

• 提出一种多模态图像配准框架，通过基于特征的对应匹配方法，实现不同热像仪采集的热成像图像之间的配准。
• 应用一种色彩化方案，将热强度值映射为具有感知意义的颜色，同时保留热成像特征信息。
• 采用基于深度学习的方法，生成在外观上类似于光学图像但编码了热成像数据的跨域色彩化图像。
• 引入一种新型的数据增强与校准流程，以应对热像仪分辨率差异和制造商特有的特性。
• 采用结合感知相似性与热成像保真度的损失函数，以优化色彩化输出。
• 发布一个全新的公开数据集，包含使用多种热像仪采集的配对热成像与光学图像，以支持未来研究。

实验结果

研究问题

• RQ1 在分辨率和制造商校准存在差异的情况下，如何有效配准来自不同热像仪的热成像图像？
• RQ2 在实现类光学视觉质量的同时，热成像数据在色彩化图像中能被多大程度地保留？
• RQ3 所提出的跨域色彩化方法在感知与结构保真度方面，与现有色彩化与配准技术相比表现如何？
• RQ4 包含多样化、多源热成像-光学图像数据集的引入，对模型泛化能力与性能有何影响？
• RQ5 当前跨域色彩化框架在实际应用中的局限性与潜在扩展方向是什么？

主要发现

• 所提出的配准方法在异构热像仪之间实现了优于基线技术的配准精度。
• 跨域色彩化方法成功生成了在视觉上类似于光学图像、同时保留热成像特征信息的图像。
• 新发布的公开数据集为包含多样化热成像源的跨域热成像-光学图像分析提供了宝贵的基准。
• 定量比较显示，生成的色彩化图像在感知相似性与结构一致性方面均有提升。
• 该方法对热像仪分辨率与内部校准差异表现出鲁棒性，具备实际部署潜力。