[논문 리뷰] RGB-D And Thermal Sensor Fusion: A Systematic Literature Review

Martin Brenner, Napoleon H. Reyes외 2명|arXiv (Cornell University)|2023. 05. 19.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 체계적 문헌 고찰은 RGB-D 및 열화상 센서 데이터 융합을 위한 최신 기법들을 종합적으로 분석하며, 校정, 3D 재구성, 세분화, 딥 러닝 기반 융합을 포함한 분야에서의 방법들을 평가한다. 연구에서는 공개된 삼중 모odal 데이터셋이 부족한 심각한 격차를 밝히며, 딥 러닝이 융합 성능을 향상시키지만, 특히 중간 융합 아키텍처에서 높은 계산 요구량으로 인해 실시간 처리가 여전히 과제로 남아 있음을 강조한다.

ABSTRACT

In the last decade, the computer vision field has seen significant progress in multimodal data fusion and learning, where multiple sensors, including depth, infrared, and visual, are used to capture the environment across diverse spectral ranges. Despite these advancements, there has been no systematic and comprehensive evaluation of fusing RGB-D and thermal modalities to date. While autonomous driving using LiDAR, radar, RGB, and other sensors has garnered substantial research interest, along with the fusion of RGB and depth modalities, the integration of thermal cameras and, specifically, the fusion of RGB-D and thermal data, has received comparatively less attention. This might be partly due to the limited number of publicly available datasets for such applications. This paper provides a comprehensive review of both, state-of-the-art and traditional methods used in fusing RGB-D and thermal camera data for various applications, such as site inspection, human tracking, fault detection, and others. The reviewed literature has been categorised into technical areas, such as 3D reconstruction, segmentation, object detection, available datasets, and other related topics. Following a brief introduction and an overview of the methodology, the study delves into calibration and registration techniques, then examines thermal visualisation and 3D reconstruction, before discussing the application of classic feature-based techniques as well as modern deep learning approaches. The paper concludes with a discourse on current limitations and potential future research directions. It is hoped that this survey will serve as a valuable reference for researchers looking to familiarise themselves with the latest advancements and contribute to the RGB-DT research field.

연구 동기 및 목표

• 컴퓨터 비전 분야의 다양한 응용 분야에서 RGB-D 및 열화상 센서 융합 기법에 대한 종합적이고 체계적인 리뷰를 제공하기 위해.
• RGB-DT 모odal의 센서 校정, 데이터 정렬, 융합 전략에서의 핵심 과제를 특정하고 분석하기 위해.
• 伝통적인 특징 기반 접근법과 현대적인 딥 러닝 기반 융합 접근법의 성능을 평가하기 위해.
• 공개된 삼중 모달(_RGB-D-T_) 데이터셋이 부족한 것이 RGB-DT 연구 발전을 저해하는 주요 장애물임을 부각하기 위해.
• 특히 실시간 처리 및 융합 모델의 강인성 향상을 위한 향후 연구 방향을 제시하기 위해.

제안 방법

• PRISMA 프레임워크를 활용하여 RGB-D 및 열화상 센서 융합에 관한 동료 검토 논문을 식별하기 위해 체계적 문헌 고찰을 수행하였다.
• 연구를 기술적 영역별로 분류: 3D 재구성, 세분화, 물체 검출, 校정, 데이터셋 가용성.
• 융합 수준 세 가지(초기, 후기, 중간)에 따라 기술을 분석하며, 딥 러닝 아키텍처에 특별한 중점을 두었다.
• 기존의 특징 기반 방법과 최신 딥 러닝 모델(예: CNN 및 시각적 트랜스포머 포함)을 평가하였다.
• 이미지 정렬, 노이즈 감소, 열화상 시각화 등의 전처리 단계가 특징의 가시성에 미치는 영향을 평가하였다.
• 융합 모델의 계산 효율성, 실시간 성능, 일반화 능력에 초점을 맞춰 분석하였다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전 응용 분야에서 RGB-D 및 열화상 센서 데이터를 융합하기 위한 주요 접근 방식은 무엇인가?
• RQ2 교정 및 정렬 기법은 다중 모달 인식 시스템의 정확성에 어떤 영향을 미치는가?
• RQ3 RGB-DT 시스템에서 초기, 후기, 중간 융합 전략 간의 성능 상충 관계는 어떠한가?
• RQ4 공개된 삼중 모달 데이터셋의 부족함이 왜 RGB-DT 연구 발전을 저해하는 요인인가?
• RQ5 딥 러닝을 활용한 실시간으로 정확하고 강인한 센서 융합을 달성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 딥 러닝 기반 융합 방법은 물체 검출 및 세분화 작업에서 정확성과 강인성 면에서 전통적인 특징 기반 접근보다 뛰어나다.
• 중간 융합 전략는 정확도 면에서 더 뛰어나지만, 종종 5 FPS 이하의 프레임 레이트를 보이며 실시간 구현이 어려운 편이다.
• 다양한 발전에도 불구하고, 아직도 Visual 트랜스포머나 유사한 고급 아키텍처를 사용해 RGB, 깊이, 열화상 데이터의 효과적인 삼중 모달 융합을 달성한 모델은 존재하지 않는다.
• 공개된 데이터셋의 부족함—단지 VDT-2048만이 적합한 삼중 모달 데이터셋으로 확인됨—이 분야의 진전을 크게 저해하고 있다.
• 이미지 정렬 및 열화상 시각화와 같은 전처리 단계는 딥 네URAL 네트워크에서 특징의 가시성을 향상시키는 데 핵심적이다.
• 현재의 프레젠테이션 공격 탐지(PAD) 방법들은 훈련 데이터에 편향을 보이며, 특히 알려지지 않은 공격 유형에 대한 일반화 능력 향상이 핵심 과제로 남아 있다.