[論文レビュー] Pushing the Limits of Deep CNNs for Pedestrian Detection

Qichang Hu, Peng Wang+3 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Neural Network Applications参考文献 39被引用数 4

ひとこと要約

本論文は、微調整されたVGG-16ネットワークからの畳み込み特徴マップ（CFMs）をブーストド決定木に再利用する、シンプルでありながら非常に効果的な歩行者検出フレームワークを提案する。Caltech歩行者データセットにおいて、8.93%のログ平均ミス率を達成し、先行研究比24%の相対的改善を示した。複雑なカスタム学習アーキテクチャや広範なハンドクラフト特徴量の必要なしに、最先端の性能を達成した。

ABSTRACT

Compared to other applications in computer vision, convolutional neural networks have under-performed on pedestrian detection. A breakthrough was made very recently by using sophisticated deep CNN models, with a number of hand-crafted features, or explicit occlusion handling mechanism. In this work, we show that by re-using the convolutional feature maps (CFMs) of a deep convolutional neural network (DCNN) model as image features to train an ensemble of boosted decision models, we are able to achieve the best reported accuracy without using specially designed learning algorithms. We empirically identify and disclose important implementation details. We also show that pixel labelling may be simply combined with a detector to boost the detection performance. By adding complementary hand-crafted features such as optical flow, the DCNN based detector can be further improved. We set a new record on the Caltech pedestrian dataset, lowering the log-average miss rate from $11.7\%$ to $8.9\%$, a relative improvement of $24\%$. We also achieve a comparable result to the state-of-the-art approaches on the KITTI dataset.

研究の動機と目的

• 最先端の歩行者検出性能を達成するために、複雑なディープCNNアーキテクチャが必須であるかどうかを調査すること。
• 事前学習済みおよび微調整済みディープネットワークからの畳み込み特徴マップ（CFMs）を、従来の機械学習検出器の入力特徴として再利用する有効性を評価すること。
• 多層CFMの統合とピクセルレベルのセマンティックラベル付けを統合することで、性能向上に与える影響を調査すること。
• CFMsを用いたシンプルなアンサンブルベースのモデルが、カスタム学習フレームワークを必要としないまま、洗練されたDCNNベースの検出器を上回ることを示すこと。

提案手法

• Caltech歩行者データセット上でVGG-16モデルを微調整し、歩行者検出に適した深層特徴を学習する。
• 微調整済みVGG-16の特定の畳み込み層（例：Conv3-3、Conv4-3、Conv5-3）からCFMsを抽出し、画像レベルの特徴として用いる。
• これらのCFM特徴量上でブーストド決定木（例：XGBoostなど）を学習し、強力なベースライン検出器を構築する。
• 複数のCFMベース検出器のスコアを平均化することでアンサンブルモデルを構築する。
• 検出スコアにセマンティックラベリングスコアを統合し、局所化精度とロバストネスを向上させる。
• さらに性能向上を図るため、CFMベース検出器にオプティカルフローなどのハンドクラフト特徴量を補足する。

実験結果

リサーチクエスチョン

• RQ1 複雑でないDCNN特徴再利用戦略が、複雑な最先端のDCNNベース検出器を上回ることができるか？
• RQ2 微調整済みVGG-16からの個々および多層CFMsは、歩行者検出にどの程度有効か？
• RQ3 ピクセルレベルのセマンティックラベリングは、CFMベースの歩行者検出器の性能向上にどの程度寄与するか？
• RQ4 CFMsとオプティカルフローなどのハンドクラフト特徴量を組み合わせることで、顕著な性能向上が得られるか？
• RQ5 CFMs上で学習された軽量なアンサンブル木モデルが、エンドツーエンド学習や複雑なアーキテクチャを必要とせずにSOTA性能を達成できるか？

主な発見

• 提案手法は、Caltech歩行者データセットにおいて、8.93%のログ平均ミス率を達成し、前回最良の11.75%から24%の相対的改善を示した。
• 微調整済みVGG-16のConv3-3層からのCFMのみを用いた場合でも、13.49%のミス率を達成し、最も複雑なDCNNフレームワークを除くすべての先行手法を上回った。
• 3層（Conv3-3、Conv4-3、Conv5-3）のCFMを統合することで、ミス率が10.46%まで低下し、マルチスケール特徴表現の利点が示された。
• 検出スコアにピクセルレベルのラベリングスコアを追加することで、ミス率はさらに9.53%まで低下し、セマンティックセグメンテーションの情報が補完的であることが示された。
• CFMs、ピクセルラベル、およびハンドクラフト特徴量（例：オプティカルフロー）を統合した「All-in-one」モデルが、8.93%の最良成績を達成し、CaltechにおいてCompACT-DeepおよびDeepPartsを上回った。
• KITTIデータセットでは、高速なアンサンブルモデルがModerateセットで63.26%のAPを達成し、すべてのモノクローラルベース手法を上回り、CompACT-DeepおよびDeepPartsを4.5ポイント以上上回った。