[論文レビュー] TFDet: Target-Aware Fusion for RGB-T Pedestrian Detection

Xue Zhang, Xiaohan Zhang+6 more|arXiv (Cornell University)|May 26, 2023

Advanced Image Fusion Techniques参考文献 86被引用数 6

ひとこと要約

TFDetは、ノイズの多い統合特徴による誤検出を抑えるために特徴の対比を高める、ターゲットに特化した統合戦略を提案する。特徴統合モジュール、特徴精錬モジュール、相関最大化損失を統合することで、KAISTおよびLLVIPベンチマークにおいて、特に低照度条件下で最先端の性能を達成し、推論速度も従来の最先端手法と同等である。

ABSTRACT

Pedestrian detection plays a critical role in computer vision as it contributes to ensuring traffic safety. Existing methods that rely solely on RGB images suffer from performance degradation under low-light conditions due to the lack of useful information. To address this issue, recent multispectral detection approaches have combined thermal images to provide complementary information and have obtained enhanced performances. Nevertheless, few approaches focus on the negative effects of false positives caused by noisy fused feature maps. Different from them, we comprehensively analyze the impacts of false positives on the detection performance and find that enhancing feature contrast can significantly reduce these false positives. In this paper, we propose a novel target-aware fusion strategy for multispectral pedestrian detection, named TFDet. TFDet achieves state-of-the-art performance on two multispectral pedestrian benchmarks, KAIST and LLVIP. TFDet can easily extend to multi-class object detection scenarios. It outperforms the previous best approaches on two multispectral object detection benchmarks, FLIR and M3FD. Importantly, TFDet has comparable inference efficiency to the previous approaches, and has remarkably good detection performance even under low-light conditions, which is a significant advancement for ensuring road safety.

研究の動機と目的

• 低照度条件下におけるRGB単独の歩行者検出器の性能低下を解消すること。
• マルチスペクトル統合におけるノイズの多い統合特徴が引き起こす誤検出の影響を特定し、これを緩和すること。
• 背景のゴミダーブを抑える一方で、歩行者に特化した特徴を強化する統合戦略を開発すること。
• リアルタイムの交通セーフティアプリケーションに適した計算効率を確保しつつ、最先端の検出精度を達成すること。

提案手法

• ペアドされたRGBおよび赤外特徴における並列チャネルおよびクロスチャネルの類似性を活用する、ターゲットに特化した統合戦略を提案する。
• 両モodalの補完的特徴を集約するための特徴統合モジュール（FFM）を導入する。
• ターゲット特徴と非ターゲット特徴を区別するための特徴分類ユニットと特徴対比強化ユニットを備えた特徴精錬モジュール（FRM）を採用する。
• セグメンテーション損失（$\mathcal{L}_{\rm seg}$）と負の相関損失（$\mathcal{L}_{\rm neg\_corr}$）を含む相関最大化損失関数を設計し、特徴の識別能を向上させる。
• 統合戦略を1段階および2段階の検出器に適用することで、柔軟性と広範な適用可能性を確保する。
• バックボーンにVGG-16とFaster R-CNNを用い、KAISTおよびLLVIPデータセットを標準プロトコルに従って評価する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い統合特徴は、マルチスペクトル歩行者検出における誤検出にどのように寄与しているか？
• RQ2 ターゲット領域と背景領域の間の特徴対比を高めることで、RGB-T統合における誤検出を顕著に低減できるか？
• RQ3 従来の統合手法と比較して、ターゲットに特化した統合戦略は、低照度条件下でどの程度検出性能を向上させられるか？
• RQ4 提案された相関最大化損失関数は、特徴の識別能および検出精度にどのように影響を与えるか？
• RQ5 提案された統合戦略は、最先端の性能を達成しつつ、高い推論速度を維持できるか？

主な発見

• KAISTデータセットにおいて、TFDetは4.47%のミス率を達成し、従来手法を顕著に上回った。
• LLVIPデータセットでは、TFDetは最高のAP（75.3%）およびAP@IoU=0.75（68.9%）を達成し、優れた局所化精度を示した。
• KAISTのナイトサブセットではRGB画像が著しく劣化しているが、TFDetはミス率を4.47%まで低減し、低照度条件下での頑健性を示した。
• アブレーションスタディの結果、FFM、FRM、および相関最大化損失を組み合わせることで、ミス率が8.57%から4.47%に低下し、0.3以上の誤検出信頼度スコアが40%減少した。
• TFDetは競争力ある推論速度を維持しており、単一のRTX 3060 GPUで1枚あたり15.8msの時間で推論が可能であり、最先端手法DCMNetと同等の性能を示した。
• 定性的な結果から、TFDetは昼間および夜間の両方のシーンで全歩行者を正しく検出できたが、対照的に、他の手法は複数の誤検出と誤検出を生じた。