[論文レビュー] Fused DNN: A deep neural network fusion approach to fast and robust pedestrian detection

Xianzhi Du, Mostafa El‐Khamy+2 more|arXiv (Cornell University)|Oct 11, 2016

Advanced Neural Network Applications参考文献 30被引用数 12

ひとこと要約

本論文では、高速かつロバストな歩行者検出を実現するための深層ニューラルネットワーク統合フレームワーク、Fused DNN (F-DNN) を提案する。単一ショットの SSD 検出器を用いて多様な歩行者候補を生成し、その後に複数の分類器（ResNet-50、GoogleNet）とセマンティックセグメンテーションネットワークをソフトリジェクトに基づくネットワーク統合により統合して検出を精緻化する。Caltech 'Reasonable' 評価設定において、最先端の精度（8.65% の log-average miss rate）を達成するとともに、従来手法よりも 1.67 倍高速である。

ABSTRACT

We propose a deep neural network fusion architecture for fast and robust pedestrian detection. The proposed network fusion architecture allows for parallel processing of multiple networks for speed. A single shot deep convolutional network is trained as a object detector to generate all possible pedestrian candidates of different sizes and occlusions. This network outputs a large variety of pedestrian candidates to cover the majority of ground-truth pedestrians while also introducing a large number of false positives. Next, multiple deep neural networks are used in parallel for further refinement of these pedestrian candidates. We introduce a soft-rejection based network fusion method to fuse the soft metrics from all networks together to generate the final confidence scores. Our method performs better than existing state-of-the-arts, especially when detecting small-size and occluded pedestrians. Furthermore, we propose a method for integrating pixel-wise semantic segmentation network into the network fusion architecture as a reinforcement to the pedestrian detector. The approach outperforms state-of-the-art methods on most protocols on Caltech Pedestrian dataset, with significant boosts on several protocols. It is also faster than all other methods.

研究の動機と目的

• 小規模・遮蔽・混雑したシーンにおける歩行者検出の速度と精度のトレードオフを解消すること。
• 複数の深層ニューラルネットワーク（分類器とセマンティックセグメンテーションネットワークを含む）を統合することで検出のロバスト性を向上させること。
• ハードバイナリ決定を避けるために、信頼度スコアを向上させるソフトリジェクトに基づく統合手法を開発すること。
• 実時間推論速度を維持しつつ、困難な状況下でも高い検出精度を維持すること。
• セマンティックセグメンテーションと歩行者検出の相乗効果を活用し、局所化と分類の両方を向上させること。

提案手法

• 単一ショットのマルチボックス検出器（SSD）が、高い再現率だが高い誤検出率を示す歩行者候補の大量プールを生成する。
• 複数の深層ニューラルネットワーク分類器（ResNet-50、GoogleNet）を並列に適用し、候補の信頼度スコアを精緻化する。
• 新規のソフトリジェクトに基づくネットワーク統合（SNF）手法が、複数の分類器からのソフト確率を統合して最終的な信頼度スコアを生成し、ハードリジェクトを回避する。
• 拡張畳み込みを用いたセマンティックセグメンテーションネットワークを統合し、候補領域に対して追加の文脈に配慮した信頼度投票を提供する。
• すべてのコンポーネントが単一の GPU 上で並列処理され、全体のパイプラインは最も遅いコンponent（例：1 イメージあたり 2.48 秒のセマンティックセグメンテーション）によって制限される。
• 検出ヘッドとセグメンテーションヘッドの共同最適化により、エンドツーエンドの学習が行われ、多タスク学習を活用して一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数の深層ニューラルネットワークのソフトリジェクト統合により、速度を犠牲にせずに歩行者検出の精度を向上させることができるか？
• RQ2 セマンティックセグメンテーションネットワークを統合することで、特に小規模または遮蔽された歩行者に対する歩行者検出がどのように向上するか？
• RQ3 提案された F-DNN フレームワークは、Caltech Pedestrian データセットにおいて、従来の最先端手法と比較して精度と推論速度の両面で優れているか？
• RQ4 ソフトリジェクト統合手法は、ハードリジェクトや単一モデル手法と比較して、誤検出をどの程度効果的に低減するか？
• RQ5 異なる受容 field とアーキテクチャを持つ複数の分類器を統合することで、遮蔽や低解像度のような困難な状況下でのロバスト性が向上するか？

主な発見

• F-DNN システムは、Caltech 'Reasonable' 評価設定において、8.65% の log-average miss rate (L-AMR) を達成し、以前の最先端の 9.58% を上回った。
• セマンティックセグメンテーションネットワークの統合により、L-AMR はさらに 8.18% に低下し、特に困難なケースでの顕著な性能向上が示された。
• 前例の最先端手法よりも 1.67 倍高速であり、'Reasonable' 評価設定において 1 イメージあたり 0.16 秒の速度を達成した。
• ソフトリジェクト統合手法は、混雑や遮蔽シーンにおいて、ハードリジェクトよりも誤検出の低減が顕著に効果的であった。
• 定性的な比較により、小規模歩行者、遮蔽歩行者、ぼやけた画像、混雑したシーンにおいて、優れたロバスト性を示した。
• SSD と GoogleNet を統合した場合、1 イメージあたり 0.11 秒で、最先端の性能を達成した。一方、SSD と SqueezeNet を統合した場合、1 イメージあたり 0.09 秒（10 FPS 以上）で動作し、L-AMR ≈ 10.8% を達成した。