[論文レビュー] Multispectral Pedestrian Detection via Simultaneous Detection and Segmentation

Chengyang Li, Dan Song+2 more|arXiv (Cornell University)|Aug 14, 2018

Video Surveillance and Tracking Methods被引用数 101

ひとこと要約

本論文はMSDS-RCNNを提案する。カラーと熱データを融合し、検出とセマンティックセグメンテーションを共同最適化する二段階のマルチスペクトル検出フレームワークで、KAISTにおける歩行者検出を向上させ、最新の結果を達成し、サニタイズされた学習アノテーションを提供する。

ABSTRACT

Multispectral pedestrian detection has attracted increasing attention from the research community due to its crucial competence for many around-the-clock applications (e.g., video surveillance and autonomous driving), especially under insufficient illumination conditions. We create a human baseline over the KAIST dataset and reveal that there is still a large gap between current top detectors and human performance. To narrow this gap, we propose a network fusion architecture, which consists of a multispectral proposal network to generate pedestrian proposals, and a subsequent multispectral classification network to distinguish pedestrian instances from hard negatives. The unified network is learned by jointly optimizing pedestrian detection and semantic segmentation tasks. The final detections are obtained by integrating the outputs from different modalities as well as the two stages. The approach significantly outperforms state-of-the-art methods on the KAIST dataset while remain fast. Additionally, we contribute a sanitized version of training annotations for the KAIST dataset, and examine the effects caused by different kinds of annotation errors. Future research of this problem will benefit from the sanitized version which eliminates the interference of annotation errors.

研究の動機と目的

• 低照度下でRGB-熱データを活用して歩行者検出を改善する動機付け。
• マルチスペクトル提案と分類の二段階ネットワークフュージョンアーキテクチャを提案。
• 検出とセマンティックセグメンテーションの共同最適化を検討して性能を向上させる。
• 検出器の性能に対するアノテーション品質の影響を評価し、KAISTのサニタイズ済みアノテーションを提供。

提案手法

• MSDS-RCNNを、マルチスペクトル提案ネットワーク（MPN）とマルチスペクトル分類ネットワーク（MCN）で提案。
• カラー、熱、統合ストリームをMPNとMCNの途中で融合させ、補完的な特徴を活用。
• 検出とピクセルレベルのセマンティング項を各ストリームで含むジョイント損失で訓練。
• MPNとMCNの出力をモダリティ間で統合して最終検出を得る。
• KAIST訓練アノテーションのサニタイズ版を適用してアノテーションノイズの影響を検討。

実験結果

リサーチクエスチョン

• RQ1 KAISTでの単一モダリティRGBまたは熱法を超える歩行者検出を、マルチスペクトルの融合は改善可能か？
• RQ2 提案生成と分類の際にセマンティックセグメンテーションの監視を組み込むと検出性能は向上するか？
• RQ3 アノテーション品質はマルチスペクトル検 detector性能にどのように影響するか、KAISTアノテーションのサニタイズの影響は？

主な発見

• MSDS-RCNNはKAISTで最先端手法を大きく凌駕し、11.63%のログ平均ミス率(MR)を達成。
• サニタイズ済みKAIST訓練アノテーションを用いるとテストセットのMRが7.45%に低下し、アノテーションノイズが主要な誤り源であることを示唆。
• MPNとMCNの両方でセグメンテーション監視を行うと性能が大幅に向上し、特にMPNでの効果が大きい。
• カラー、熱、統合ストリームのスコア融合とMPNの寄与により、個別ストリームを超えるMRをさらに改善。
• 本手法はTitan X GPUで画像1枚あたり228 msの速度で動作し、比較対象の最良手法IATDNN+IASSより速い。
• daytimeおよび夜間のシナリオで性能向上が見られ、特に夜間に大幅な改善が見られる。