[論文レビュー] Semantic Segmentation for Thermal Images: A Comparative Survey

Zülfiye Kütük, Görkem Algan|arXiv (Cornell University)|May 26, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本サーベイは、熱画像用の深層学習ベースのセマンティックセグメンテーション手法について包括的な分析を提供し、入力モality（熱画像のみ対応 vs. RGB-T統合）別にアプローチを分類している。主要データセットを用いた最新モデルの評価において、mIoUなどの指標を用いて分析した結果、エッジガイドド型およびアテンションベースのアーキテクチャが、特化したベンチマークで最大0.939 mIoUを達成しており、低視界条件下における熱画像のみを用いたセグメンテーションの可能性を示している。

ABSTRACT

Semantic segmentation is a challenging task since it requires excessively more low-level spatial information of the image compared to other computer vision problems. The accuracy of pixel-level classification can be affected by many factors, such as imaging limitations and the ambiguity of object boundaries in an image. Conventional methods exploit three-channel RGB images captured in the visible spectrum with deep neural networks (DNN). Thermal images can significantly contribute during the segmentation since thermal imaging cameras are capable of capturing details despite the weather and illumination conditions. Using infrared spectrum in semantic segmentation has many real-world use cases, such as autonomous driving, medical imaging, agriculture, defense industry, etc. Due to this wide range of use cases, designing accurate semantic segmentation algorithms with the help of infrared spectrum is an important challenge. One approach is to use both visible and infrared spectrum images as inputs. These methods can accomplish higher accuracy due to enriched input information, with the cost of extra effort for the alignment and processing of multiple inputs. Another approach is to use only thermal images, enabling less hardware cost for smaller use cases. Even though there are multiple surveys on semantic segmentation methods, the literature lacks a comprehensive survey centered explicitly around semantic segmentation using infrared spectrum. This work aims to fill this gap by presenting algorithms in the literature and categorizing them by their input images.

研究の動機と目的

• 熱赤外画像を用いたセマンティックセグメンテーションに特化した包括的サーベイが不足しているという問題に取り組むこと。
• 熱画像を入力として使用する深層学習ベースのセマンティックセグメンテーション手法を体系的に分類・比較すること。
• 複数のベンチマークデータセットを用いて、平均交差率（mIoU）などの標準化された指標を用いて、これらの手法のパフォーマンスを評価すること。
• 熱画像セグメンテーションに特有の課題、例えば熱クロスオーバー、低解像度、限られたアノテーション付きデータセットの問題点を分析すること。
• 合成データ生成やマルチモodal入力のための改善された統合戦略など、研究のギャップと今後の方向性を特定すること。

提案手法

• 既存の手法を主に2つのグループに分類：熱画像のみを用いるものと、RGBと熱画像を統合した入力（RGB-T）を用いるもの。
• エンコーダ・デコーダ構造、U-Netの変種、およびアトラス畳み込みやスパatialピラミッドプーリングを用いるモデルを含む、深層ニューラルネットワークアーキテクチャのレビューと分類。
• エッジベースの損失関数と相関行列を導入し、熱画像における境界検出を向上させるとともに、ノイズへの感受性を低減。
• スキップ接続とマルチパスウェイ設計（例：BiseNetV2）を用いて、空間的詳細の保持と特徴量の統合を改善。
• ラベル勾配から導出されるエッジマップを活用してセグメンテーションをガイドし、曖昧な境界での精度を向上。
• 特に暗所条件下での歩行者・車両セグメンテーションのパフォーマンス向上を目的として、重み付きシグモイドクロスエントロピー損失を適用。

Figure 2 : Some prediction results of MFNet [ 10 ] and Segnet [ 1 ] on the MFNet dataset [ 10 ]

実験結果

リサーチクエスチョン

• RQ1 最先端の熱画像セマンティックセグメンテーションモデルで用いられる主なアーキテクチャ設計と損失関数は何か？
• RQ2 mIoUと推論速度の観点から、熱画像のみのセグメンテーションモデルとRGB-T統合モデルの性能はどのように比較されるか？
• RQ3 熱画像セグメンテーションにおける主な課題は何か？ また、現在の手法はそれらに対しどのように対処しているか？
• RQ4 熱画像セグメンテーションの評価に最も一般的に使用されるデータセットは何か？ また、これらのベンチマーク間でのモデルパフォーマンスの違いは何か？
• RQ5 熱クロスオーバーや低解像度アーチファクトの影響を受ける状況でも、セグメンテーション精度を向上させるために最も効果的な手法は何か？

主な発見

• [17]の手法はSODAデータセットで0.619 mIoUを達成し、[5]の0.571 mIoUを上回った。
• SCUT-Seg夜間走行データセットでは、[35]が32.52 FPSで0.676 mIoUを達成した一方、[23]は同データセットで0.667 mIoUを報告した。
• MFnetデータセットでは、[35]が熱画像のみを用いて0.519 mIoUを達成し、[6]（0.504 mIoU）およびRTFNet-50（0.503 mIoU）のRGB-T統合手法と同等の性能を示した。
• [31]のモデルは自作データセットで0.939 mIoUを達成し、[5]、[21]、[15]を上回った。これは、強度の不均一性やノイズに対して高いロバスト性を示している。
• LIIデータセットでは、[7]が0.912 mIoUを達成し、[4]の0.469 mIoUを大きく上回った。特に弱光条件下でも顕著な性能差が見られた。
• NPU_CS_UAV_IR_DATAデータセットでは、[20]は[11]、[5]、[1]と同等の平均精度を達成し、わずかに高速な推論速度を実現した。