[論文レビュー] Geometry-Aware Video Object Detection for Static Cameras

Dan Xu, Weidi Xie+1 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Neural Network Applications参考文献 36被引用数 4

ひとこと要約

本稿では、静止カメラ環境下で、オブジェクトのスケールから導出される疑似深度マップを活用してマルチスケール検出を向上させる、幾何学的注意をもつ時空間動画オブジェクト検出フレームワークであるGAST-Netを提案する。時間的モデリングと幾何学的ガイド付き特徴統合を導入したアンカーフリーのCornerNetを動画に拡張することで、合成（Carla）および実世界（DukeMTMC）のデータセットにおいて、既存の1段階および2段階検出器を最大6.2ポイントmAP向上させ、最先端の性能を達成した。

ABSTRACT

In this paper we propose a geometry-aware model for video object detection. Specifically, we consider the setting that cameras can be well approximated as static, e.g. in video surveillance scenarios, and scene pseudo depth maps can therefore be inferred easily from the object scale on the image plane. We make the following contributions: First, we extend the recent anchor-free detector (CornerNet [17]) to video object detections. In order to exploit the spatial-temporal information while maintaining high efficiency, the proposed model accepts video clips as input, and only makes predictions for the starting and the ending frames, i.e. heatmaps of object bounding box corners and the corresponding embeddings for grouping. Second, to tackle the challenge from scale variations in object detection, scene geometry information, e.g. derived depth maps, is explicitly incorporated into deep networks for multi-scale feature selection and for the network prediction. Third, we validate the proposed architectures on an autonomous driving dataset generated from the Carla simulator [5], and on a real dataset for human detection (DukeMTMC dataset [28]). When comparing with the existing competitive single-stage or two-stage detectors, the proposed geometry-aware spatio-temporal network achieves significantly better results.

研究の動機と目的

• 静止カメラ設定下で、シーンの幾何構造を活用可能な環境において、スケールの変動と隠蔽を扱うため。
• 時空間的依存関係を効率的にモデリングすることで、単一段階のアンカーフリー検出（CornerNet）を動画に拡張するため。
• 画像面上のオブジェクトスケールから得られるシーンの幾何構造を、深層ネットワークに統合し、マルチスケール特徴選択と予測を改善するため。
• 合成および実世界のデータセットにおいて、幾何的事前知識が動画オブジェクト検出に与える有効性を検証するため。
• 幾何学的注意設計が、標準的な検出器と比較して優れた検出精度をもたらすことを示すため。

提案手法

• モデルは動画クリップを入力として処理し、計算コストを抑えるために最初のフレームと最後のフレームでのみオブジェクトコーナーのヒートマップと埋め込みを予測することで、長距離の時系列的文脈を捉える。
• 時空間畳み込みバックボーンが、フレーム間をまたがる外観および動きの特徴を符号化し、空間的および時間的キューを統合的にモデリング可能にする。
• 幾何学的注意特徴統合が導入され、疑似深度マップ（オブジェクトのピクセル上の高さから導出）が、ネットワーク内でのマルチスケール特徴選択および統合をガイドする。
• ネットワークはコーナーに基づく検出ヘッドを用い、左上および右下のコーナーを予測した後、埋め込みに基づくグループ化によりバウンディングボックスを形成する。
• 疑似深度マップは、既知のカメラ幾何構造を用いて、画像面上のオブジェクトスケールから計算され、明示的な深度センサーを必要としない幾何的事前知識を提供する。
• アーキテクチャはエンド・ツー・エンドで学習可能であり、キーポイント回帰および埋め込み対照学習のための標準的な検出損失関数を用いて最適化される。

実験結果

リサーチクエスチョン

• RQ1 静止カメラから得られるシーン幾何構造は、マルチスケール動画オブジェクト検出を向上させることができるか？
• RQ2 疑似深度マップを幾何的事前知識として組み込むことで、検出精度およびスケール変動に対するロバストネスにどのような影響を与えるか？
• RQ3 時空間モデリングを用いて、コーナーに基づくアンカーフリー検出フレームワークを動画に効果的に拡張できるか？
• RQ4 幾何学的注意特徴統合は、動画オブジェクト検出における標準的なマルチスケール特徴集約を上回る性能を発揮するか？
• RQ5 本手法は、実世界および合成ベンチマークにおける最先端の1段階および2段階検出器と比較して、どのように性能を発揮するか？

主な発見

• DukeMTMCデータセットでは、ResNet-50バックボーンを用いたGAST-Netが74.42%のmAPを達成し、Faster R-CNNを3.74ポイント、Single-Frame CornerNetを5.71ポイント上回った。
• VGG-11バックボーンを用いた場合、GAST-Netは68.26%のmAPを達成し、SSDを9.17ポイント、Single-Frame CornerNetを6.77ポイント上回った。
• 幾何学的ガイド付き特徴統合モジュールは、すべての指標で性能向上をもたらし、幾何的事前知識がスケール認識および検出精度を向上させることを確認した。
• Carlaの合成データセットにおいて、GAST-Netは優れた一般化性能を示し、複雑なスケール変動を伴う自動走行シナリオにおける有効性を検証した。
• DukeMTMCにおいて、GAST-NetはAP75が68.21%を達成したのに対し、Faster R-CNNは59.64%であったため、密なコーナー予測による優れた局所化精度を示した。
• 失敗事例は主に極端なスケールや隠蔽状況における誤ったコーナーのグループ化に起因しており、より優れたグループ化機構の必要性を示唆している。