[论文解读] Deep Thermal Imaging: Proximate Material Type Recognition in the Wild through Deep Learning of Spatial Surface Temperature Patterns

Youngjun Cho, Nadia Bianchi‐Berthouze+2 more|arXiv (Cornell University)|Mar 6, 2018

Thermography and Photoacoustic Techniques参考文献 34被引用 3

一句话总结

本文提出Deep Thermal Imaging方法，利用智能手机集成的热成像相机与深度神经网络，通过在真实室内外环境中捕捉物体表面温度的空间分布模式，实现对32种材料类型的识别。该方法在室内材料识别中准确率超过98%，在室外材料识别中准确率超过89%，无需依赖环境光或接触物体，展示了其在端到端深度学习热纹理识别中对实时人机交互应用的鲁棒性与潜力。

ABSTRACT

We introduce Deep Thermal Imaging, a new approach for close-range automatic recognition of materials to enhance the understanding of people and ubiquitous technologies of their proximal environment. Our approach uses a low-cost mobile thermal camera integrated into a smartphone to capture thermal textures. A deep neural network classifies these textures into material types. This approach works effectively without the need for ambient light sources or direct contact with materials. Furthermore, the use of a deep learning network removes the need to handcraft the set of features for different materials. We evaluated the performance of the system by training it to recognise 32 material types in both indoor and outdoor environments. Our approach produced recognition accuracies above 98% in 14,860 images of 15 indoor materials and above 89% in 26,584 images of 17 outdoor materials. We conclude by discussing its potentials for real-time use in HCI applications and future directions.

研究动机与目标

• 通过热成像技术实现在真实环境中对近距离材料类型的自动、无接触识别。
• 克服传统方法依赖可见光或人工特征工程的局限性。
• 利用低成本移动热传感器捕捉的空间表面温度分布模式，开发一种鲁棒且实时的材料识别系统。
• 在多种室内和室外条件下，对大量常见材料进行性能评估。
• 证明深度学习在无需手工特征工程的情况下，实现热纹理端到端分类的可行性。

提出的方法

• 将低成本移动热成像相机集成至智能手机，用于捕捉邻近物体表面温度的空间分布模式。
• 系统在室内外环境中采集了超过15,000张32种材料类型的热成像图像。
• 采用端到端训练的深度卷积神经网络（CNN），将热纹理分类为材料类别，无需人工特征提取。
• 网络直接从原始热成像数据中学习温度分布的判别性空间模式。
• 应用数据增强与归一化技术，提升在不同环境条件下的泛化能力。
• 在独立的室内与室外材料识别测试集上对模型进行评估。

实验结果

研究问题

• RQ1 深度学习能否仅基于智能手机热成像相机捕捉的空间表面温度分布模式，有效分类材料类型？
• RQ2 该系统在光照与热环境多变的真实非受控环境中的表现如何？
• RQ3 深度神经网络在无需人工特征工程的情况下，对多样化室内外材料的泛化能力达到何种程度？
• RQ4 在低成本热成像条件下，材料识别在室内外环境中可达到的准确率水平如何？
• RQ5 该系统能否支持实际人机交互（HCI）应用中的实时材料识别？

主要发现

• 在14,860张室内图像（15种材料类型）上，系统识别准确率超过98%。
• 在26,584张室外图像（17种材料类型）上，系统在复杂环境条件下仍保持超过89%的准确率。
• 深度学习方法消除了对手工特征工程的需求，实现了从原始热纹理数据的端到端学习。
• 该方法在真实环境中表现出强鲁棒性，不依赖环境光或与材料的物理接触。
• 结果表明其在人机交互应用中具备良好的实时部署潜力。
• 该方法在多样化材料与环境变化下具有良好的泛化能力，凸显其实际应用可行性。