[論文レビュー] Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems

Kailai Zhou, Linsen Chen+1 more|arXiv (Cornell University)|Aug 7, 2020

Video Surveillance and Tracking Methods参考文献 49被引用数 15

ひとこと要約

本稿では、RGB-赤外融合におけるモダリティ不均衡を解消するために、微分的モダリティ認識融合（DMAF）モジュールと照度に適応した特徴アライメント機構を導入した、1段階型マルチスペクトル歩行者検出器であるモダリティバランスネットワーク（MBNet）を提案する。MBNetは、変動する照度条件下でもバランスの取れた適応的融合を可能にすることで、KAISTおよびCVC-14データセットで最先端の精度と効率性を達成した。

ABSTRACT

Multispectral pedestrian detection is capable of adapting to insufficient illumination conditions by leveraging color-thermal modalities. On the other hand, it is still lacking of in-depth insights on how to fuse the two modalities effectively. Compared with traditional pedestrian detection, we find multispectral pedestrian detection suffers from modality imbalance problems which will hinder the optimization process of dual-modality network and depress the performance of detector. Inspired by this observation, we propose Modality Balance Network (MBNet) which facilitates the optimization process in a much more flexible and balanced manner. Firstly, we design a novel Differential Modality Aware Fusion (DMAF) module to make the two modalities complement each other. Secondly, an illumination aware feature alignment module selects complementary features according to the illumination conditions and aligns the two modality features adaptively. Extensive experimental results demonstrate MBNet outperforms the state-of-the-arts on both the challenging KAIST and CVC-14 multispectral pedestrian datasets in terms of the accuracy and the computational efficiency. Code is available at https://github.com/CalayZhou/MBNet.

研究の動機と目的

• マルチスペクトル歩行者検出におけるモダリティ不均衡問題、特に照度モダリティ不均衡と特徴モダリティ不均衡を特定・分析すること。
• 変動する照明条件下でもRGBおよび赤外ブランチからの寄与がバランスされるように、二モダリティネットワークの最適化プロセスを改善すること。
• 冗長性と計算コストを最小限に抑えながら、クロスモダリティの補完性を明示的に捉えることで、特徴統合を向上させること。
• 昼間と夜間の両方の状況で高い精度と効率性を維持できる、頑健な1段階検出器を設計すること。

提案手法

• RGBおよび赤外モダリティの特徴マップ間の補完的特徴を明示的に学習・統合するために、各ResNetブロックに差分的モダリティ認識融合（DMAF）モジュールを挿入する。
• 双一次補間を用いた照度に適応した特徴アライメントモジュールを導入し、RGBおよび赤外特徴を空間的にアライメントさせ、各空間位置での表現がバランスされるようにする。
• バックボーンに照度ゲート機構を採用し、シーンの照度に応じてRGBおよび赤外特徴を動的に重み付けすることで、適応的統合を可能にする。
• マルチスケールでモダリティバランスの取れた特徴を統合しながらも、計算効率を維持できる1段階型SSDベースの検出フレームワークを採用する。
• 領域候補段階で適応的特徴補完を適用し、RGBおよび赤外ストリームからの予測を照度状態に応じて統合する。
• 勾配不均衡を軽減し収束性を向上させるために、モダリティバランス損失関数を用いてネットワークを最適化する。

実験結果

リサーチクエスチョン

• RQ1 モダリティ不均衡、特に照度および特徴モダリティ不均衡は、マルチスペクトル歩行者検出器の性能にどのように影響を与えるか？
• RQ2 DMAFのような明示的かつ学習可能な統合機構は、計算コストを増加させることなく、特徴統合を改善できるか？
• RQ3 照度に適応した特徴アライメントは、昼間と夜間の検出性能の差をどの程度縮小できるか？
• RQ4 照度に依存したモダリティの動的重み付けは、多様な照明条件下でより頑健でバランスの取れた検出を実現できるか？
• RQ5 1段階検出器は、高い推論効率を維持しながらも、マルチスペクトル歩行者検出で最先端の性能を達成できるか？

主な発見

• MBNetは、KAISTのリーズナブルセットで8.13%のミス率を達成し、同じ評価プロトコル下でParkら（9.86%）やAR-CNN（22.1%）といった先行SOTA手法を上回った。
• 照度に適応した特徴アライメントモジュールにより、夜間のミス率がベースラインの10.17%から7.86%に低下し、昼間と夜間の性能差が顕著に縮小された。
• DMAFモジュールは追加パラメータがなく、最小限の計算コストで特徴統合の精度を向上させ、RGBおよび赤外特徴の効率的かつ深い統合を可能にした。
• 照度ゲート機構により、昼間はRGBを優先し、夜間は赤外を優先する動的な選択が可能となり、照明条件の変化に強い性能が実現された。
• 除去実験の結果、DMAFおよびモダリティアライメントモジュールの両方が性能向上に不可欠であることが確認され、併用時が最も優れた結果をもたらした。
• MBNetは高い計算効率を維持しており、複雑な統合機構を追加しても推論速度が著しく低下しなかった。