[論文レビュー] BAANet: Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection

Xiaoxiao Yang, Yeqian Qiang+3 more|arXiv (Cornell University)|Dec 4, 2021

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、RGB-Tパーソン検出において、二方向の適応的アテンションゲート（BAA-Gate）を用いて段階的にモダリティ固有のノイズを低減し、マルチステージ融合戦略を通じてクロスモダリティ特徴を再キャリブレーションする、新たなマルチスペクトルパーソン検出フレームワークBAANetを提案する。本手法はKAISTデータセットにおいて、夜間条件下で6.98%のミス率、全体の平均ログミス率が7.92%を達成し、SOTAの性能を発揮するとともに、1枚あたり0.07秒という高い推論速度を維持している。

ABSTRACT

Thermal infrared (TIR) image has proven effectiveness in providing temperature cues to the RGB features for multispectral pedestrian detection. Most existing methods directly inject the TIR modality into the RGB-based framework or simply ensemble the results of two modalities. This, however, could lead to inferior detection performance, as the RGB and TIR features generally have modality-specific noise, which might worsen the features along with the propagation of the network. Therefore, this work proposes an effective and efficient cross-modality fusion module called Bi-directional Adaptive Attention Gate (BAA-Gate). Based on the attention mechanism, the BAA-Gate is devised to distill the informative features and recalibrate the representations asymptotically. Concretely, a bi-direction multi-stage fusion strategy is adopted to progressively optimize features of two modalities and retain their specificity during the propagation. Moreover, an adaptive interaction of BAA-Gate is introduced by the illumination-based weighting strategy to adaptively adjust the recalibrating and aggregating strength in the BAA-Gate and enhance the robustness towards illumination changes. Considerable experiments on the challenging KAIST dataset demonstrate the superior performance of our method with satisfactory speed.

研究の動機と目的

• RGBおよび赤外熱画像（TIR）におけるモダリティ固有のノイズが、深層ネットワーク伝搬中に特徴品質を低下させることに起因する課題に対処すること。
• 相互モダリティ相関を明示的にモデル化し、二方向的・マルチステージの方法でノイズを抑制することで、クロスモダリティ特徴統合を向上させること。
• 照度に基づく重み付け戦略を用いて再キャリブレーションと統合の強度を適応的に調整することで、照明条件の変化に対してより高い耐性を発揮すること。
• パフォーマンスと推論速度の両立を図り、マルチスペクトルパーソン検出において高い検出精度と効率を同時に達成すること。

提案手法

• まず一方のモダリティ（例：低照度下のRGB）のノイズの強い特徴を抑制し、次に洗練された特徴を用いて他方のモダリティ（例：TIR）を再キャリブレーションする二方向の適応的アテンションゲート（BAA-Gate）を提案する。
• 特徴が複数のネットワーク段階にわたり段階的に洗練され、再キャリブレーションされるマルチステージ統合戦略を採用することで、モダリティ固有性を保持するとともに識別能を向上させる。
• BAA-Gateにおける再キャリブレーションおよび統合の強度を、照度に応じて適応的に制御する照度ベースの重み付け戦略を導入し、照明変動への耐性を向上させる。
• RGBおよびTIRブランチ間の特徴対忞を向上させるために、可変畳み込みネットワーク（DCN）を用いたモダリティアライメントを実装する。
• BAA-Gateによるラテント統合を採用し、単純な連結や早期統合に代えて、表現品質を向上させる二本のCNNアーキテクチャを採用する。
• クロスエントロピー損失およびボックス回帰損失を用いて、標準的な検出ヘッド（例：Faster R-CNN）とエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 二方向的・マルチステージのアテンション機構は、深層ネットワーク推論中にRGBおよびTIR特徴のモダリティ固有のノイズを効果的に低減できるか？
• RQ2 BAA-Gateによる適応的再キャリブレーションは、厳しい照度条件および隠蔽状況下での検出精度をどのように向上させるか？
• RQ3 照度ベースの重み付け戦略は、マルチスペクトルパーソン検出における環境照度変動に対して、どの程度耐性を向上させるか？
• RQ4 提案されたBAA-Gateは、単純な連結や早期統合戦略と比較して、より優れた特徴アライメントおよび表現学習を実現できるか？

主な発見

• BAANetはKAISTデータセットにおいて、全体の平均ログミス率が7.92%と、他のすべてのSOTA手法を上回る最低水準を達成した。
• 夜間サブセットでは6.98%のミス率を達成し、2番目に優れた手法よりも0.88ポイント優れていた。
• 遠距離スケールサブセットでは51.25%のミス率を達成し、2番目に優れた手法（CIAN）よりも4.57ポイント優れていた。
• アブレーションスタディの結果、BAA-Gate、照度ベースの重み付け、モダリティアライメントの各要素が性能向上に顕著に寄与しており、完全なモデルが最良の結果を達成した。
• BAANetは1枚あたり0.07秒という高い推論速度を維持しており、既存の最速手法と同等であり、精度と速度のトレードオフの優れた性能を示した。
• 定性的な結果から、BAANetは低照度、小スケール、隠蔽状態のパーソン検出といった困難な状況においても、競合モデルと比較して誤検出や見逃し検出が少ない優れた一般化性能を示した。