[論文レビュー] Multiview Detection with Feature Perspective Transformation

Yunzhong Hou, Liang Zheng+1 more|arXiv (Cornell University)|Jul 14, 2020

Video Surveillance and Tracking Methods参考文献 47被引用数 10

ひとこと要約

本稿では、特徴マップの視点変換を用いてマルチビュー特徴を統合し、大カーネル畳み込みニューラルネットワークを用いて空間的近隣特徴を統合する、エンドツーエンドで、アンカーフリーなマルチビュー歩行者検出フレームワークMVDetを提案する。Wildtrackで88.2%のMODAを達成し、先行研究比で14.1%の向上を示し、遮蔽されやすく混雑したシーンでも優れた性能を発揮する。

ABSTRACT

Incorporating multiple camera views for detection alleviates the impact of occlusions in crowded scenes. In a multiview system, we need to answer two important questions when dealing with ambiguities that arise from occlusions. First, how should we aggregate cues from the multiple views? Second, how should we aggregate unreliable 2D and 3D spatial information that has been tainted by occlusions? To address these questions, we propose a novel multiview detection system, MVDet. For multiview aggregation, existing methods combine anchor box features from the image plane, which potentially limits performance due to inaccurate anchor box shapes and sizes. In contrast, we take an anchor-free approach to aggregate multiview information by projecting feature maps onto the ground plane (bird's eye view). To resolve any remaining spatial ambiguity, we apply large kernel convolutions on the ground plane feature map and infer locations from detection peaks. Our entire model is end-to-end learnable and achieves 88.2% MODA on the standard Wildtrack dataset, outperforming the state-of-the-art by 14.1%. We also provide detailed analysis of MVDet on a newly introduced synthetic dataset, MultiviewX, which allows us to control the level of occlusion. Code and MultiviewX dataset are available at https://github.com/hou-yz/MVDet.

研究の動機と目的

• 混雑したシーンにおける遮蔽や曖昧さを解消するマルチビュー歩行者検出のための手法を提供すること。
• 事前に定義された不正確なバウンディングボックスに依存するアンカーベースのマルチビュー特徴集約の限界を克服すること。
• 空間的集約においてCRFや平均場推論などの外部後処理を不要とするようにすること。
• 空間的近隣と複数のビューを同時に考慮できるエンドツーエンドで学習可能な、完全畳み込み型のマルチビュー検出システムを構築すること。
• 実世界データ（Wildtrack）と制御された合成データ（MultiviewX）の両方で、遮蔽度の異なる条件下での性能を評価すること。

提案手法

• MVDetは、複数のカメラビューからの特徴マップを地面平面に射影するための視点変換を用い、直接的なピxls単位の特徴抽出によりアンカーフリーな表現を実現する。
• すべてのビューからの変換済み特徴マップを連結し、地面平面の各位置に統一されたマルチビュー特徴マップを形成する。
• 空間的集約には、完全畳み込みアーキテクチャ内で大受容 field 畳み込み（大カーネル畳み込み）を用い、外部のCRFや平均場推論を置き換える。
• 単一ビュー検出の監督（足元・頭部ポイント検出）とマルチビュー検出損失を組み合わせた損失関数を用いてエンドツーエンドで学習する。
• 特徴マップの視点変換は、カメラキャリブレーションと3Dから2Dへの射影に基づく微分可能ホモグラフィ推定を用いて実装される。
• システムは、地面平面の各位置に歩行者が存在するかを予測する歩行者占有マップ（POM）を出力する。

実験結果

リサーチクエスチョン

• RQ1 視点変換によるアンカーフリーなマルチビュー特徴集約は、アンカーベースの手法と比較して、マルチビュー歩行者検出においてどのように性能を発揮するか？
• RQ2 完全畳み込み型で大カーネルを用いたアプローチは、遮蔽されたシーンにおける空間的近隣特徴集約において、CRF や平均場推論を効果的に置き換えることができるか？
• RQ3 MVDetの性能は、遮蔽度や混雑度の異なる条件下でどのように変化するか？
• RQ4 単一ビュー検出の監督は、全体のマルチビュー検出性能にどの程度寄与しているか？
• RQ5 MultiviewX のような合成データセットを用いることで、制御された遮蔽条件の下でマルチビュー検出性能を体系的に分析・検証できるか？

主な発見

• MVDetはWildtrackデータセットで88.2%のMODAを達成し、先行研究比で14.1%の向上を示した。
• 空間的集約に大カーネル畳み込みを用いることで、Wildtrackで11.3%のMODA向上が得られ、CRFベースの手法よりも6.3%の向上を示した。
• MultiviewXの合成データセットでは、遮蔽度が異なる条件下でも強力な性能を維持しており、混雑度が高くなるに従い性能が低下する傾向を示した（予想通り）。
• 単一ビュー検出損失を削除すると、Wildtrackでは1.2%、MultiviewXでは2.0%の性能低下が生じ、監督の価値が示された。
• MultiviewXでは、Wildtrackほど性能向上の余地が小さく、平均カメラカバレッジが高いため（4.41 vs. 3.74）、曇りや曇りの少ない状況が多いために、改善の余地が制限された。
• アブレーションスタディにより、提案されたアンカーフリー特徴集約と完全畳み込み型空間的集約の両方が、モデル性能に不可欠であることが確認された。