[論文レビュー] PCN: Part and Context Information for Pedestrian Detection with CNNs

Shiguang Wang, Jian Cheng+2 more|arXiv (Cornell University)|Apr 12, 2018

Video Surveillance and Tracking Methods参考文献 27被引用数 10

ひとこと要約

本稿では、LSTMを用いた部分ベースの意味的通信と、局所的競争メカニズム（Maxout）を用いた適応的マルチスケールコンテキストモデリングを統合する、CNNベースの新規歩行者検出フレームワークPCNを提案する。部分ブランチとコンテキストブランチからの特徴を統合することで、Caltechデータセットにおいて部分的遮蔽状況下で16.4%、重度の遮蔽状況下で56.7%のミス率を達成し、遮蔽下における検出のロバスト性が著しく向上した。

ABSTRACT

Pedestrian detection has achieved great improvements in recent years, while complex occlusion handling is still one of the most important problems. To take advantage of the body parts and context information for pedestrian detection, we propose the part and context network (PCN) in this work. PCN specially utilizes two branches which detect the pedestrians through body parts semantic and context information, respectively. In the Part Branch, the semantic information of body parts can communicate with each other via recurrent neural networks. In the Context Branch, we adopt a local competition mechanism for adaptive context scale selection. By combining the outputs of all branches, we develop a strong complementary pedestrian detector with a lower miss rate and better localization accuracy, especially for occlusion pedestrian. Comprehensive evaluations on two challenging pedestrian detection datasets (i.e. Caltech and INRIA) well demonstrated the effectiveness of the proposed PCN.

研究の動機と目的

• 複雑な遮蔽状況、特に体部が隠されている場合の歩行者検出という持続的な課題に対処すること。
• 再帰的モデリングによる体部間の意味的通信を可能にすることで、検出精度を向上させること。
• 学習可能な局所的競争メカニズムを用いて、異なる歩行者インスタンスに最適なコンテキストスケールを適応的に選択すること。
• 部分情報とコンテキスト情報を統合的に統合し、相補的な検出フレームワークを構築することで、局所化精度を向上させ、ミス率を低減すること。

提案手法

• PCNフレームワークは、共通のバックボーン特徴抽出器を共有する3つのブランチ（ベース検出器、部分ブランチ、コンテキストブランチ）から構成される。
• 部分ブランチでは、歩行者バウンディングボックスが複数の部分グリッドに分割され、各グリッドに検出スコアが割り当てられる。LSTM層により、体部間の双方向的意味的通信が実現され、スコアの精緻化が行われる。
• コンテキストブランチでは、Maxoutに基づく局所的競争メカニズムが用いられ、複数スケール（例：1.5x、1.8x、2.1x）における最も情報の多いコンテキスト領域を適応的に選択する。
• 部分ブランチとコンテキストブランチの出力をベース検出器と統合し、よりロバストな最終検出スコアを生成する。
• 分類、局所化、部分検出の目的関数を統合したマルチタスク損失関数を用いて、エンドツーエンドでモデルを学習する。
• LSTMの使用により、可視部と遮蔽部の体部間の長距離依存関係をモデル化でき、部分的に見えている歩行者の認識が向上する。

実験結果

リサーチクエスチョン

• RQ1 体部の意味的性質を再帰的にモデリングすることで、遮蔽された歩行者の検出性能が向上するか？
• RQ2 データ駆動型の適応的コンテキストスケール選択は、固定スケールのコンテキスト抽出よりも優れているか？
• RQ3 部分ベースとコンテキストベースの特徴を統合することで、特に重度の遮蔽下でミス率が顕著に低下するか？
• RQ4 提案されたPCNフレームワークは、従来のSOTA手法に比べ、部分的および完全な遮蔽状況の処理においてより効果的か？

主な発見

• PCNはCaltechデータセットの「Occ.partial」サブセットで16.4%のミス率を達成し、ベースのRPN+FRCNN optモデル（24.0%）と比較して7.6%の相対的改善を示した。
• 「Occ.heavy」サブセットでは、ミス率が56.7%に低下し、ベースモデル（64.9%）と比較して10.2%の相対的改善を達成した。
• フルPCNモデルはCaltechの「Reasonable」スプリットで9.0%のミス率を達成し、最良のシングルスケールコンテキストモデル（x=2.1の9.6%）とベースモデル（12.1%）を上回った。
• アブレーションスタディにより、LSTMベースの部分通信が「Occ.heavy」歩行者のミス率を64.6%から58.9%に低下させ、遮蔽対処における有効性が裏付けられた。
• Maxoutを搭載したコンテキストブランチは9.0%のミス率を達成し、すべてのシングルスケールコンテキストモデル（9.6–9.9%）を上回り、適応的スケール選択の優位性を実証した。
• 可視化比較では、PCNはDeepPartsやRPN+BFと比較して、より多くの遮蔽歩行者を検出でき、局所化精度も高かった。