[論文レビュー] Deep Multi-camera People Detection

Tatjana Chavdarova, François Fleuret|arXiv (Cornell University)|Feb 15, 2017

Video Surveillance and Tracking Methods参考文献 20被引用数 5

ひとこと要約

本論文は、複数の同期的で重複するカメラ視野において外見特徴を統合的に融合する、最初のエンド・ツー・エンドのディーブラーニングフレームワークを提案する。大規模な単一視野データセットでモノクロナル歩行者検出器をファインチューニングし、その後、小規模なマルチカメラデータセット上でマルチビュー構造を共同で訓練することで、PETS 2009ベンチマークで最先端の性能を達成した。従来の背景差分法に依存せず、遮蔽の影響にもより強く対処できる。

ABSTRACT

This paper addresses the problem of multi-view people occupancy map estimation. Existing solutions for this problem either operate per-view, or rely on a background subtraction pre-processing. Both approaches lessen the detection performance as scenes become more crowded. The former does not exploit joint information, whereas the latter deals with ambiguous input due to the foreground blobs becoming more and more interconnected as the number of targets increases. Although deep learning algorithms have proven to excel on remarkably numerous computer vision tasks, such a method has not been applied yet to this problem. In large part this is due to the lack of large-scale multi-camera data-set. The core of our method is an architecture which makes use of monocular pedestrian data-set, available at larger scale then the multi-view ones, applies parallel processing to the multiple video streams, and jointly utilises it. Our end-to-end deep learning method outperforms existing methods by large margins on the commonly used PETS 2009 data-set. Furthermore, we make publicly available a new three-camera HD data-set. Our source code and trained models will be made available under an open-source license.

研究の動機と目的

• 背景差分法に依存する従来のマルチカメラ歩行者検出手法の限界を解決すること。特に、複雑なシーンでは前景の領域が連結しやすくなるため、性能が低下する点を改善する。
• 大規模なマルチカメラデータセットが不足する中で、大規模なモノクロナルデータセットからの知識移行を活用し、マルチビュー歩行者検出にディーブラーニングを適用すること。
• 複数のカメラストリームを並列に処理し、自動的に視野間の特徴対応を学習する共同マルチビュー検出アーキテクチャを開発すること。
• 今後の研究のための、より高品質な3カメラHDデータセットを公開すること。このデータセットは、改良されたキャリブレーションを備えている。

提案手法

• 大規模な単一視野歩行者検出データセットで、最先端のモノクロナル歩行者検出ネットワーク（例：R-CNN や Faster R-CNN）をファインチューニングし、頑健なベースモデルを構築する。
• 視野間で早期の畳み込み層を共有し、共有で学習可能な統合層を介して接続することで、マルチビュー深層ニューラルネットワークを構築する。この構造により、視野間の特徴マッピングを学習する。
• 小規模なマルチカメラデータセット上で、ファインチューニング済みのモノクロナルモデルの重みで初期化された早期層を用いて、共同マルチビューネットワークを訓練する。これにより収束性と性能が向上する。
• 背景差分法や手作業で設計された特徴量に依存せずに、すべての視野で検出信頼度と局所化精度を同時に最適化するエンド・ツー・エンドの訓練戦略を採用する。
• キャリブレーションの不一致に強く対処するため、文脈的パディングとデータ正規化を適用する。特に傾斜があるシーンにおいて有効である。
• PETS 2009データセットに対して、複数のFoldを用いた交差検証戦略を採用し、汎化性能を評価する。トレーニングとテストの分割を別々に設定することで、性能の安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドのディーブラーニングアプローチは、背景差分法や手作業特徴量に依存する従来手法を上回る性能を発揮できるか？
• RQ2 ディープ特徴量を用いて複数の視野を共同処理することで、混雑したシーンにおける検出精度と耐性が向上するか？
• RQ3 大規模なモノクロナルデータセットで事前学習したモデルが、小規模なマルチカメラデータセット上でファインチューニングされることで、共同検出に有効に一般化できるか？
• RQ4 複数の視野間でのキャリブレーションの不一致が性能に与える影響はどの程度か？また、モデルはその影響を学習によって軽減できるか？
• RQ5 PETS 2009データセットの全7視野（一部に既知のキャリブレーション問題あり）を用いることで、部分的な視野のみを使用する場合と比較して、検出性能が向上するか？

主な発見

• 提案手法は、PETS 2009データセットで、従来の最良手法（MODP = 0.66）を大きく上回り、全7視野を用いた場合の平均平均適合度（MODP）を0.68まで向上させた。
• PETS 2009データの一部でファインチューニングした場合、平均平均検出精度（MODA）が0.94を達成した。これは、従来手法が報告する0.75～0.79程度のMODA値を著しく上回る。
• 既知のキャリブレーションの不一致を含む全7視野を用いても、性能が著しく低下せず、わずかな向上が得られるにとどまり、キャリブレーション誤差に対して耐性があることが示された。
• データセット固有の正規化やファインチューニングなしで、汎化性能が高く、全テストシーケンスでMODPが0.75を達成した。
• 視野間の外見特徴に基づく統合により、背景差分法に起因する誤検出を引き起こしやすい非人体の前景オブジェクトを効果的にフィルタリングできる。
• 複数のランダムなトレーニング・テスト分割に対して、性能が安定しており、性能指標の標準偏差が非常に小さい（例：ファインチューニング設定ではMODPが0.02、精度が0.01）。