[論文レビュー] RGB-D And Thermal Sensor Fusion: A Systematic Literature Review

Martin Brenner, Napoleon H. Reyes+2 more|arXiv (Cornell University)|May 19, 2023

Infrared Target Detection Methodologies被引用数 4

ひとこと要約

本系統的文献レビューは、RGB-Dおよび赤外線センサーのデータ統合に関する最先端技術を統合し、キャリブレーション、3次元再構築、セグメンテーション、深層学習に基づく統合の各分野で手法を評価している。本研究では、公開可能な3モード統合データセットの著しい不足が顕在化されており、深層学習が統合性能を向上させることを示しているが、特にミドル統合アーキテクチャでは高い計算負荷のため、リアルタイム処理は依然として困難であることが明らかになった。

ABSTRACT

In the last decade, the computer vision field has seen significant progress in multimodal data fusion and learning, where multiple sensors, including depth, infrared, and visual, are used to capture the environment across diverse spectral ranges. Despite these advancements, there has been no systematic and comprehensive evaluation of fusing RGB-D and thermal modalities to date. While autonomous driving using LiDAR, radar, RGB, and other sensors has garnered substantial research interest, along with the fusion of RGB and depth modalities, the integration of thermal cameras and, specifically, the fusion of RGB-D and thermal data, has received comparatively less attention. This might be partly due to the limited number of publicly available datasets for such applications. This paper provides a comprehensive review of both, state-of-the-art and traditional methods used in fusing RGB-D and thermal camera data for various applications, such as site inspection, human tracking, fault detection, and others. The reviewed literature has been categorised into technical areas, such as 3D reconstruction, segmentation, object detection, available datasets, and other related topics. Following a brief introduction and an overview of the methodology, the study delves into calibration and registration techniques, then examines thermal visualisation and 3D reconstruction, before discussing the application of classic feature-based techniques as well as modern deep learning approaches. The paper concludes with a discourse on current limitations and potential future research directions. It is hoped that this survey will serve as a valuable reference for researchers looking to familiarise themselves with the latest advancements and contribute to the RGB-DT research field.

研究の動機と目的

• 複数の応用分野にわたるRGB-Dおよび赤外線センサー統合技術について、包括的かつシステマティックなレビューを提供すること。
• RGB-DTモダリティにおけるセンサーのキャリブレーション、データのアライメント、統合戦略に関する主な課題を特定し、分析すること。
• 従来の特徴ベース手法と最新の深層学習ベースの統合アプローチの性能を評価すること。
• 公開可能な3モード（RGB-D-T）データセットの不足が、分野の発展を妨げる主要な障壁であることを強調すること。
• 特にリアルタイム処理と統合モデルの頑健性に焦点を当てた、今後の研究の方向性を提示すること。

提案手法

• PRISMAフレームワークを用いて、RGB-Dおよび赤外線センサー統合に関する査読付き論文を特定するためのシステマティックレビューを実施した。
• 研究を技術分野ごとに分類：3次元再構築、セグメンテーション、物体検出、キャリブレーション、データセットの可用性。
• 統合レベル（早期統合、後期統合、ミドル統合）ごとに技術を分析し、深層学習アーキテクチャに重点を置いた。
• 古典的な特徴ベース手法と最新の深層学習モデル（CNNやビジュアルトランスフォーマーを含む）を評価した。
• 特徴の可視性に与える影響を吟味し、画像アライメント、ノイズ低減、赤外線可視化などの前処理ステップを評価した。
• 統合モデルの計算効率、リアルタイム性能、一般化能力に焦点を当てた分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョン応用分野において、RGB-Dおよび赤外線センサーのデータ統合に用いられる代表的なアプローチは何か？
• RQ2 キャリブレーションおよびレジストレーション技術は、マルチモーダル認識システムの精度にどのように影響を与えるか？
• RQ3 RGB-DTシステムにおける早期統合、後期統合、ミドル統合戦略の間で、性能のトレードオフはどのようなものか？
• RQ4 公開可能な3モードデータセットの不足が、なぜRGB-DT研究の進展を妨げる要因となるのか？
• RQ5 深層学習を用いたリアルタイムで正確かつ頑健なセンサー統合を達成するにあたり、主な課題は何か？

主な発見

• 深層学習ベースの統合手法は、物体検出およびセグメンテーションタスクにおいて、従来の特徴ベース手法よりも精度と頑健性に優れている。
• ミドル統合戦略はより高い精度を達成するが、しばしば5 FPS未満のフレームレートとなり、リアルタイムデプロイメントが困難である。
• 技術の進展にもかかわらず、まだRGB、深度、赤外線データの有効な3モード統合を実現したVisual Transformersや類似アーキテクチャのモデルは存在しない。
• 公開可能なデータセットの不足（VDT-2048を除き、唯一適切な3モードデータセットとして特定された）が、分野の進展を著しく妨げている。
• 画像アライメントや赤外線可視化などの前処理ステップは、深層ニューラルネットワークにおける特徴の可視性を向上させる上で極めて重要である。
• 現在のプレゼンテーション攻撃検出（PAD）手法は、訓練データに偏りを示しており、とくに未知の攻撃タイプに対する一般化能力が主な課題のままである。