[論文レビュー] Illuminating Pedestrians via Simultaneous Detection & Segmentation

Garrick Brazil, Xi Yin+1 more|arXiv (Cornell University)|Jun 26, 2017

Advanced Neural Network Applications参考文献 27被引用数 69

ひとこと要約

本論文では、特徴マップを強化するためにセグメンテーションインジェクション層を導入することで、一括して歩行者検出とセマンティックセグメンテーションを実行するマルチタスク学習フレームワーク、SDS-RCNNを提案する。共有バックボーン層にセグメンテーションの監視信号を統合することで、検出精度が向上し、Caltechで相対誤差を23%削減する一方で、競合手法と比較して2倍の推論速度を維持する。

ABSTRACT

Pedestrian detection is a critical problem in computer vision with significant impact on safety in urban autonomous driving. In this work, we explore how semantic segmentation can be used to boost pedestrian detection accuracy while having little to no impact on network efficiency. We propose a segmentation infusion network to enable joint supervision on semantic segmentation and pedestrian detection. When placed properly, the additional supervision helps guide features in shared layers to become more sophisticated and helpful for the downstream pedestrian detector. Using this approach, we find weakly annotated boxes to be sufficient for considerable performance gains. We provide an in-depth analysis to demonstrate how shared layers are shaped by the segmentation supervision. In doing so, we show that the resulting feature maps become more semantically meaningful and robust to shape and occlusion. Overall, our simultaneous detection and segmentation framework achieves a considerable gain over the state-of-the-art on the Caltech pedestrian dataset, competitive performance on KITTI, and executes 2x faster than competitive methods.

研究の動機と目的

• ベンチマークデータセット（Caltech や KITTI など）における歩行者検出の精度を、セマンティックセグメンテーションの監視信号を用いて向上させること。
• 歩行者データセットにおけるピクセル単位のアノテーションが限られているという課題に対処し、弱い監視信号を用いたセグメンテーション信号を活用すること。
• 推論効率を損なわずに特徴表現を向上させるマルチタスク学習フレームワークを設計すること。
• セグメンテーションインジェクションを用いた共同学習が、歩行者検出に向けたより意味的で頑健な特徴を生み出すことを示すこと。
• Caltechで最先端の性能を達成するとともに、高速な推論を維持し、精度と速度の両面で既存手法を上回ること。

提案手法

• Faster R-CNNに基づく2段階検出フレームワークを提案し、2段階目の分類器に stricter 監視を適用するための変更を加える。
• トレーニング中に共有畳み込み層にセマンティックセグメンテーションの監視信号を統合する「セグメンテーションインジェクション層」を導入する。
• RPN（領域提案ネットワーク）と2段階目分類器（BCN）のスコアを統合することで、検出の信頼性を向上させ、誤検出を低減する。
• 同じバックボーンネットワークを歩行者検出とセマンティックセグメンテーションの両方に対して共同で学習させるマルチタスク学習方式を採用する。
• 特徴マップの可視化により、セグメンテーションインジェクションが歩行者領域の活性化を促進し、背景を抑制する仕組みを分析する。
• トレーニング時のみにセグメンテーションインジェクションを適用することで、推論効率を最適化し、高速な推論速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 弱い監視によるセマンティックセグメンテーションが、推論速度を低下させることなく歩行者検出性能を向上させることができるか？
• RQ2 セグメンテーション監視信号を用いた共同学習が、共有特徴マップの品質と意味的コンテンツにどのように影響を与えるか？
• RQ3 RPNと2段階目分類器のスコア統合が、誤検出をどの程度低減させ、局所化精度を向上させるか？
• RQ4 2段階検出フレームワークにおいて、特徴共有とネットワークの多様化の間にはどのようなトレードオフがあるか？
• RQ5 セグメンテーションインジェクションが、遮蔽やポーズの変化にさらされた状況でも、より頑健な検出を可能にするか？

主な発見

• 提案された SDS-RCNN は、Caltech 歩行者検出ベンチマークで相対誤差を23%削減し、新たな最先端性能を達成した。
• 特徴マップの可視化結果から、セグメンテーションインジェクションによりネットワークが歩行者領域を「点灯」させ、背景を抑制することが明らかになった。
• 競合する最先端手法と比較して、約2倍の高速な推論速度を維持しながら、マルチタスク学習にもかかわらず高い効率性を発揮した。
• RPNとBCNのスコア統合により、誤検出が約22%低減した。特に、高スコアの背景候補の誤検出が顕著に是正された。
• 2段階目分類器に stricter 監視を適用することで、二重検出が著しく減少し、局所化精度が向上した。
• 最小限の特徴共有（例：共有なし、または初期層での共有）で最大の性能が達成されたことから、ネットワークの多様化が統合効果を高めていることが示された。