[論文レビュー] Fusion of Multispectral Data Through Illumination-aware Deep Neural Networks for Pedestrian Detection

Dayan Guan, Yanpeng Cao+3 more|arXiv (Cornell University)|Feb 27, 2018

Video Surveillance and Tracking Methods参考文献 11被引用数 19

ひとこと要約

本論文では、日中および夜間の状況下でも頑健なマルチスペクトル歩行者検出を実現するため、可視光および赤外線画像を融合する、照度に配慮した二ストリーム深層ニューラルネットワーク（IATDNN）を提案する。照度を全結合ネットワークで推定し、日中／夜間用サブネットワークに適応的重みを適用することで、検出精度と効率性を向上させ、KAISTデータセットで26.37%のMR（誤検出率）を達成。これは最先端手法比で11%の改善であり、1画像あたり0.25秒という低推論時間も維持している。

ABSTRACT

Multispectral pedestrian detection has received extensive attention in recent years as a promising solution to facilitate robust human target detection for around-the-clock applications (e.g. security surveillance and autonomous driving). In this paper, we demonstrate illumination information encoded in multispectral images can be utilized to significantly boost performance of pedestrian detection. A novel illumination-aware weighting mechanism is present to accurately depict illumination condition of a scene. Such illumination information is incorporated into two-stream deep convolutional neural networks to learn multispectral human-related features under different illumination conditions (daytime and nighttime). Moreover, we utilized illumination information together with multispectral data to generate more accurate semantic segmentation which are used to boost pedestrian detection accuracy. Putting all of the pieces together, we present a powerful framework for multispectral pedestrian detection based on multi-task learning of illumination-aware pedestrian detection and semantic segmentation. Our proposed method is trained end-to-end using a well-designed multi-task loss function and outperforms state-of-the-art approaches on KAIST multispectral pedestrian dataset.

研究の動機と目的

• 実世界の監視および自動運転において、変動する照度条件（日中／夜間）下での歩行者検出性能の悪化という課題に対処すること。
• 低照度、悪天候、隠蔽状態の下で性能が低下する単一モodal（可視光のみ）検出器の限界を克服すること。
• 可視光と赤外線データの相補的特徴を活用することで、マルチスペクトル歩行者検出の頑健性と精度を向上させること。
• 照度に配慮した検出とセマンティックセグメンテーションを同時に最適化できるエンドツーエンドで学習可能なフレームワークを開発すること。
• 実用的導入に適した、高精度かつ低推論遅延を実現する検出フレームワークを達成すること。

提案手法

• 推定された照度状態に応じて、日中または夜間用サブネットワークに動的アテンションを割り当てる照度に配慮した重み付け機構を提案する。
• マルチスペクトルセマンティック特徴を用いて照度に配慮した重みを予測するため、全結合照度ネットワーク（IFCNN）を訓練する。
• 日中と夜間のそれぞれの照明条件下で歩行者を検出することに特化した、別々のサブネットワークを備えた二ストリーム深層ニューラルネットワーク（TDNN）を実装する。
• 特徴学習の精緻化と誤検出の低減を目的として、照度に配慮したセマンティックセグメンテーションマスクを監督信号として統合する。
• 複数タスク損失関数を用いて、歩行者検出とセマンティックセグメンテーションを同時に最適化し、特徴共有を可能にすることで一般化性能を向上させる。
• 学習された重みを用いて、日中と夜間のサブネットワーク出力を統合し、照度変化に対して頑健な最終検出結果を生成する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いて、マルチスペクトル画像内の照度状態を正確に推定し、特徴学習を誘導できるか？
• RQ2 照度に配慮した重み付けを組み込むことで、日中および夜間の両方のシナリオにおける歩行者検出性能が向上するか？
• RQ3 検出とセマンティックセグメンテーションの共同学習が、検出精度の向上と誤検出の低減に寄与するか？
• RQ4 本手法は、最先端のマルチスペクトル歩行者検出器と比較して、精度と効率性の両面で優れているか？
• RQ5 マルチスペクトル歩行者検出における照度に配慮したセマンティックセグメンテーションの最適なアーキテクチャは何か？

主な発見

• 提案手法IATDNN+IASSは、KAISTの全時間帯ベンチマークで26.37%の誤検出率（MR）を達成し、前人最高のFusion RPN + BDT（29.68% MR）比で相対的に11%の改善を示した。
• IATDNNはセグメンテーションなしでも29.62%のMRを達成し、日中ではFusion RPN + BDT（30.51% MR）を上回り、夜間では26.88% vs. 27.62%とほぼ同等の性能を示した。
• 照度に配慮したセマンティックセグメンテーションモジュールは、二重検出に起因する誤検出を顕著に低減させ、検出の信頼性を向上させた。
• 本手法は1画像あたり0.25秒で実行可能であり、現行の最先端手法（例：Halfway Fusionは0.40秒/画像、Fusion RPN + BDTは0.80秒/画像）よりも高速である。
• 照度に配慮した意思決定段階のセマンティックセグメンテーションは、他のアーキテクチャに比べて最も信頼性の高いセグメンテーション出力を得ており、統合精度でも優れた性能を示した。
• 照度推定ネットワーク（IFCNN）は、高い正確性で照度状態を正しく予測でき、サブネットワークの動的重み付けを効果的に行う基盤を提供した。