[論文レビュー] Multispectral Deep Neural Networks for Pedestrian Detection

Jingjing Liu, Shaoting Zhang+2 more|arXiv (Cornell University)|Nov 8, 2016

Advanced Neural Network Applications参考文献 29被引用数 53

ひとこと要約

本論文は、カラーモードと赤外モードの画像を統合することで、より優れた歩行者検出を実現する4つのマルチスペクトルConvNet融合アーキテクチャを提案する。中間畳み込み層で特徴量を統合するHalfway Fusionモデルは、KAISTベンチマークで36.99%の欠落率を達成し、ベースラインのFaster R-CNNと比較して11%低く、他の融合アーキテクチャと比較しても3.5%低い。

ABSTRACT

Multispectral pedestrian detection is essential for around-the-clock applications, e.g., surveillance and autonomous driving. We deeply analyze Faster R-CNN for multispectral pedestrian detection task and then model it into a convolutional network (ConvNet) fusion problem. Further, we discover that ConvNet-based pedestrian detectors trained by color or thermal images separately provide complementary information in discriminating human instances. Thus there is a large potential to improve pedestrian detection by using color and thermal images in DNNs simultaneously. We carefully design four ConvNet fusion architectures that integrate two-branch ConvNets on different DNNs stages, all of which yield better performance compared with the baseline detector. Our experimental results on KAIST pedestrian benchmark show that the Halfway Fusion model that performs fusion on the middle-level convolutional features outperforms the baseline method by 11% and yields a missing rate 3.5% lower than the other proposed architectures.

研究の動機と目的

• 低照度または夜間の条件下で単一モダリティの歩行者検出器に見られる限界を解消すること。
• 深層ニューラルネットワークにおけるマルチスペクトル（カラーモードと赤外モード）データの有効な統合方法を調査すること。
• 統合タイミング（早期、中間、後期、スコアレベル）が検出性能に与える影響を調査すること。
• 複数のConvNet融合アーキテクチャを設計・評価し、マルチスペクトル歩行者検出における最適な統合戦略を特定すること。
• 24時間体制での応用を想定し、KAISTマルチスペクトル歩行者ベンチマークで最先端の性能を達成すること。

提案手法

• Faster R-CNNをベースに、カラーモードと赤外モードの画像それぞれに対して別々に検出器を学習可能なバニラConvNetに変更する。
• 4つの異なる統合アーキテクチャを設計：Early Fusion（低レベル特徴量）、Halfway Fusion（中レベル特徴量）、Late Fusion（高レベル特徴量）、Score Fusion（信頼度スコア）。
• ConvNetの異なる段階で特徴量統合を実施し、統合タイミングが検出性能に与える影響を評価する。
• 標準的な指標（欠落率MR、再現率）を用いて、KAISTマルチスペクトル歩行者検出データセット上ですべての統合モデルを学習・評価する。
• 領域提案ネットワーク（RPN）を用いて提案品質を評価し、提案数とIoU閾値を変化させた際の再現率を測定する。
• すべてのモデルをベースラインのFaster R-CNNおよびACF-C-T検出器と比較し、性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 DNNの異なる段階でカラーモードと赤外モードの画像を統合すると、歩行者検出性能にどのように影響するか？
• RQ2 ConvNetにおける中間レベルの特徴量統合は、早期または後期統合と比較して、マルチスペクトル歩行者検出においてより優れた検出シナジーを達成できるか？
• RQ3 カラーモードと赤外モードの画像から得られる補完的情報を統合することで、単一モダリティの検出器と比較して欠落率が顕著に低減するか？
• RQ4 RPNにおける提案品質は、少ない提案数の状況で、どの程度マルチスペクトル統合によって向上するか？（再現率を指標に測定）
• RQ5 実世界の歩行者検出において、多様な照明条件や環境条件下で最も頑健な性能を示す統合戦略は何か？

主な発見

• 中間畳み込み層で特徴量を統合するHalfway Fusionモデルは、KAISTベンチマークで全体で最も低い欠落率36.99%を達成した。
• Halfway Fusionは、ベースラインのFaster R-CNNと比較して欠落率を11%低減し、マルチスペクトル統合による顕著な性能向上を示した。
• 50件の提案で94%の再現率を達成したが、Faster R-CNN-CおよびFaster R-CNN-Tは同程度の再現率に到達するまで約80件の提案を必要としていた。
• 300件の提案で、IoU 0.6の条件下で93.9%の再現率を達成し、他のモデルを上回った。これは、真値との重複度が高い優れた提案を生成していることを示している。
• Halfway Fusionモデルは、次に優れた融合アーキテクチャと比較して欠落率を3.5%低減した。これは、マルチスペクトル統合における優位性を裏付けている。
• 別々に学習されたカラーモードと赤外モードの検出器は、補完的な検出意思決定を提供しており、マルチスペクトル統合による24時間体制の頑健な歩行者検出の可能性を裏付けた。