[논문 리뷰] Deep Thermal Imaging: Proximate Material Type Recognition in the Wild through Deep Learning of Spatial Surface Temperature Patterns

Youngjun Cho, Nadia Bianchi‐Berthouze외 2명|arXiv (Cornell University)|2018. 03. 06.

Thermography and Photoacoustic Techniques참고 문헌 34인용 수 3

한 줄 요약

이 논문은 스마트폰에 통합된 열화상 카메라와 딥 신경망을 사용하여 실내 및 실외 환경에서 실제 세계의 공간적 표면 온도 패턴을 기반으로 32종의 재료 유형을 인식하는 Deep Thermal Imaging를 제안한다. 이 방법은 실내 재료에서 98% 이상의 정확도를 달성하고, 실외 재료에서는 89% 이상의 정확도를 확보하며, 주변 조도나 접촉 없이도 작동하여 열화상 텍스처의 엔드 투 엔드 딥 러닝을 통해 실시간 HCI 응용 분야에 대한 뛰어난 내구성과 잠재력을 입증한다.

ABSTRACT

We introduce Deep Thermal Imaging, a new approach for close-range automatic recognition of materials to enhance the understanding of people and ubiquitous technologies of their proximal environment. Our approach uses a low-cost mobile thermal camera integrated into a smartphone to capture thermal textures. A deep neural network classifies these textures into material types. This approach works effectively without the need for ambient light sources or direct contact with materials. Furthermore, the use of a deep learning network removes the need to handcraft the set of features for different materials. We evaluated the performance of the system by training it to recognise 32 material types in both indoor and outdoor environments. Our approach produced recognition accuracies above 98% in 14,860 images of 15 indoor materials and above 89% in 26,584 images of 17 outdoor materials. We conclude by discussing its potentials for real-time use in HCI applications and future directions.

연구 동기 및 목표

• 실세계 환경에서 열화상 영상을 통해 근접한 재료 유형을 자동으로, 접촉 없이 인식하는 것을 목적으로 한다.
• 가시광선에 의존하거나 수작업으로 특징을 추출하는 전통적 방법의 한계를 극복하는 것을 목적으로 한다.
• 저비용 모바일 열화상 센서로 촬영한 공간적 표면 온도 패턴을 활용해 내구성 있고 실시간으로 작동하는 재료 인식 시스템을 개발하는 것을 목적으로 한다.
• 다양한 실내 및 실외 조건에서 다양한 일반 재료를 대상으로 성능을 평가하는 것을 목적으로 한다.
• 수작업으로 특징을 설계하지 않은 채 엔드 투 엔드로 열화상 텍스처를 분류하는 딥 러닝의 가능성을 입증하는 것을 목적으로 한다.

제안 방법

• 스마트폰에 저비용 모바일 열화상 카메라를 통합하여 근접한 재료의 공간적 표면 온도 패턴을 촬영한다.
• 실내 및 실외 환경에서 32종의 재료 유형에 대해 15,000장 이상의 열화상 영상을 수집한다.
• 딥 컨volution 신경망(CNN)을 엔드 투 엔드로 훈련시켜 열화상 텍스처를 재료 유형으로 분류하며, 수작업 특징 추출이 필요 없도록 한다.
• 네트워크는 원시 열화상 영상 데이터에서 직접 온도 분포의 구분 가능한 공간 패턴을 학습한다.
• 일반화 성능을 향상시키기 위해 데이터 증강 및 정규화 기법을 적용한다.
• 실내 및 실외 재료 인식 작업에 대해 별도의 테스트 세트를 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝은 스마트폰 열화상 카메라로 촬영한 공간적 표면 온도 패턴만으로도 재료 유형을 효과적으로 분류할 수 있는가?
• RQ2 다양한 조도 및 열 환경 조건이 존재하는 실세계 비제어 환경에서 시스템의 성능은 어떠한가?
• RQ3 수작업 특징 추출 없이도 딥 신경망이 다양한 실내 및 실외 재료에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 저비용 열화상 영상 기반으로 실내 및 실외 환경에서 재료 인식에 도달할 수 있는 정확도는 어느 정도인가?
• RQ5 실제 인간-컴퓨터 상호작용(HCI) 응용 분야를 위한 실시간 재료 인식을 시스템이 지원할 수 있는가?

주요 결과

• 14,860장의 실내 영상(15종의 재료 유형)에 대해 시스템은 98% 이상의 인식 정확도를 확보했다.
• 26,584장의 실외 영상(17종의 재료 유형)에 대해서는 도전적인 환경 조건에도 불구하고 정확도가 89% 이상을 유지했다.
• 딥 러닝 접근법은 수작업 특징 추출이 필요 없도록 하여 원시 열화상 텍스처에서 엔드 투 엔드 학습을 가능하게 했다.
• 시스템은 주변 조도나 재료와의 물리적 접촉에 의존하지 않으며, 실세계 환경에서 뛰어난 성능을 보였다.
• 결과는 실시간 구현 가능성을 강력히 시사하며, 인간-컴퓨터 상호작용 응용 분야에 큰 잠재력을 지닌다.
• 다양한 재료와 환경 변화에 대해 잘 일반화되는 것으로 나타나, 실용적 적용 가능성에 높은 잠재력을 보였다.