[論文レビュー] TAFNet: A Three-Stream Adaptive Fusion Network for RGB-T Crowd Counting

Haihan Tang, Yi Wang+1 more|arXiv (Cornell University)|Feb 17, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

TAFNetは、融合されたRGB熱画像特徴を処理するメインストリームと、モダリティ固有の特徴を処理する2つの補助ストリームを備えた3ストリームの自己適応融合ネットワークをRGB-T混雑度数え上げに提案する。情報向上モジュール（IIM）により、特徴を自己適応的に融合する。この手法は、RGBT-CCデータセットにおいて、最先端の手法よりもRMSEとMAEで20%以上の向上を達成し、明るい環境と暗い環境の両方で優れた性能を発揮する。

ABSTRACT

In this paper, we propose a three-stream adaptive fusion network named TAFNet, which uses paired RGB and thermal images for crowd counting. Specifically, TAFNet is divided into one main stream and two auxiliary streams. We combine a pair of RGB and thermal images to constitute the input of main stream. Two auxiliary streams respectively exploit RGB image and thermal image to extract modality-specific features. Besides, we propose an Information Improvement Module (IIM) to fuse the modality-specific features into the main stream adaptively. Experiment results on RGBT-CC dataset show that our method achieves more than 20% improvement on mean average error and root mean squared error compared with state-of-the-art method. The source code will be publicly available at https://github.com/TANGHAIHAN/TAFNet.

研究の動機と目的

• RGBのみの手法が失敗する低照度条件下での不正確な混雑度数え上げの課題に対処すること。
• 早期融合によってモダリティ固有の詳細が失われる可能性がある2ストリーム融合アーキテクチャの限界を克服すること。
• 組み合わせ特徴とモダリティ固有の特徴を自己適応的に融合させることで、RGB-T混雑度数え上げにおける特徴表現を向上させること。
• 明るい環境と暗い環境の両方でバランスの取れた正確な性能を達成すること。
• 情報向上モジュール（IIM）を備えた新規の3ストリームアーキテクチャを提案し、特徴融合を強化し、冗長性を低減すること。

提案手法

• 3ストリームネットワークアーキテクチャを採用：1つのメインストリームが連結されたRGBおよび熱画像ペアを処理し、2つの補助ストリームがRGBおよび熱画像を別々に処理してモダリティ固有の特徴を抽出する。
• 複数の段階で特徴を抽出するために3つのVGG16バックボーンを用い、ストリーム間の融合ポイントにおける整合性を確保する。
• 情報向上モジュール（IIM）を導入し、メインストリームからの組み合わせ特徴と補助ストリームからのモダリティ固有特徴を、学習可能な注目メカニズムを用いて自己適応的に融合する。
• IIM内にCAO（チャネルワイド注目モジュール）とSAO（空間ワイド注目モジュール）を実装し、融合特徴における重要なチャネルおよび空間領域を強調する。
• メインストリームの最終畳み込み層の後に回帰ヘッドを適用し、最終的な密度マップを予測する。
• 単一のRTX 2080 Ti GPUを用い、重み減衰1e-4、初期学習率1e-5でAdam最適化法を用いて約11時間トレーニングする。

実験結果

リサーチクエスチョン

• RQ1 専用のモダリティ固有ストリームを備えた3ストリームアーキテクチャは、2ストリーム融合と比較して、RGB-T混雑度数え上げにおける特徴表現を向上させることができるか？
• RQ2 IIMによる組み合わせ特徴とモダリティ固有特徴の自己適応的融合は、固定的または早期融合戦略と比較して、より優れた性能を発揮するか？
• RQ3 提案手法は、単一モダリティ手法が失敗する明るい環境と暗い環境の両方で一貫性があり正確な性能を発揮できるか？
• RQ4 IIMモジュールは、クロスマダリティ融合中に冗長な情報を低減し、関連する特徴を強化するのにどの程度効果的か？
• RQ5 3ストリーム設計は、厳しい照度条件において一般化性能と耐障害性をどの程度向上させるか？

主な発見

• TAFNetはRGBT-CCデータセットで22.45のRMSEおよび12.38のGAME(0)を達成し、以前の最先端手法CMCRL（RMSE: 28.18、GAME(0): 15.61）を上回り、GAME(0)で20.7%、RMSEで20.3%の向上を達成した。
• 明るい環境では、TAFNetはCMCRLと比較してGAME(0)を23.5%、RMSEを25.5%改善し、高照度状況下での顕著な向上を示した。
• 暗い環境でも、TAFNetはCMCRLを上回り、GAME(2)で6.4%、RMSEで5.3%の改善を示し、照度の極端な変動に対しても耐性があることを示した。
• アブレーションスタディの結果、IIMモジュールおよびそのCAOとSAOのコンponentsが不可欠であることが確認され、フルモデルと比較してそれらを削除するとGAME(0)が3.96ポイント上昇した。
• IIMを備えた3ストリームアーキテクチャは、すべての評価指標で最小の誤差を達成しており、モダリティ固有特徴の学習と自己適応的融合が性能向上に不可欠であることを示している。
• TAFNetは、従来の手法が高照度または低照度のいずれかで性能が低下する傾向にあるのと対照的に、明るい環境と暗い環境の間でより安定した性能を発揮した。