[論文レビュー] Training-free Monocular 3D Event Detection System for Traffic Surveillance

Lijun Yu, Peng Chen+3 more|ArXiv.org|Feb 1, 2020

Video Surveillance and Tracking Methods参考文献 16被引用数 4

ひとこと要約

本論文は、2D映像とカメラキャリブレーションを用いて3次元ユークリッド空間で車両の軌跡を再構築することで、ラベル付き学習データを必要とせずに交通監視のためのトレーニングフリーな単眼3次元イベント検出システムを提案する。このシステムは、オクルージョンや視点変化に強く、車両の行動や衝突を安定して検出可能である。実世界のデータセットにおいて、トレーニングベースの最先端手法を上回り、誤検出率と見逃し率の両方を低く抑える。

ABSTRACT

We focus on the problem of detecting traffic events in a surveillance scenario, including the detection of both vehicle actions and traffic collisions. Existing event detection systems are mostly learning-based and have achieved convincing performance when a large amount of training data is available. However, in real-world scenarios, collecting sufficient labeled training data is expensive and sometimes impossible (e.g. for traffic collision detection). Moreover, the conventional 2D representation of surveillance views is easily affected by occlusions and different camera views in nature. To deal with the aforementioned problems, in this paper, we propose a training-free monocular 3D event detection system for traffic surveillance. Our system firstly projects the vehicles into the 3D Euclidean space and estimates their kinematic states. Then we develop multiple simple yet effective ways to identify the events based on the kinematic patterns, which need no further training. Consequently, our system is robust to the occlusions and the viewpoint changes. Exclusive experiments report the superior result of our method on large-scale real-world surveillance datasets, which validates the effectiveness of our proposed system.

研究の動機と目的

• 衝突のようなレアな交通イベントのためのラベル付き学習データが限られ、高価であるという課題に対処すること。
• オクルージョンや視点依存性の問題を抱える2D監視映像解析の限界を克服すること。
• モデルのファインチューニングや再トレーニングを必要とせず、リアルタイムかつスケーラブルな大規模交通監視システムを構築すること。
• 幾何学的・運動論的推論のみを用いて、車両の旋回、Uターン、発進・停止、衝突といった複雑なイベントを正確に検出すること。

提案手法

• カメラキャリブレーションパrametersを用いて、2Dオブジェクト検出とトラッキングの結果を3次元ユークリッド空間に投影する。
• 各車両の運動状態（位置、速度、加速度）をトップダウンの道路ビューで推定する。
• 学習やトレーニングを一切行わず、突然の減速や軌跡の乖離といった事前定義された運動パターンルールを用いてイベント検出を実施する。
• 効率的な幾何変換とイベントパターンマッチングを活用することで、リアルタイムストリーム処理を可能にする。
• 衝突検出には、3次元空間における軌跡の乖離と距離閾値を用い、必要に応じて手動で消失点をキャリブレーションすることで検証を行う。
• 評価には、$P_{miss}$、$R_{fa}$、$T_{fa}$ を含む標準的な ActEV メトリクスを用い、トレーニングベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングフリーなシステムは、学習ベースのモデルと比較して、競争力のある性能を3次元交通イベント検出で達成できるか？
• RQ2 3次元軌跡再構築は、単眼監視におけるオクルージョンや視点変化に対するロバストネスをどのように向上させるか？
• RQ3 ラベル付きデータが不要な状態で、運動パターン解析がUターンや衝突といった複雑なイベントをどの程度検出可能か？
• RQ4 限られた学習データを伴う実世界の大規模監視データにおいて、このシステムはどの程度の性能を示すか？

主な発見

• トレーニングフリーなシステムは平均 $P_{miss}$ 0.60 を達成し、トレーニングベースのシステムの0.88と比べて顕著に低いことから、検出の再現率が優れていることが示された。
• 左折イベントにおいて、トレーニングフリーなシステムの $R_{fa}$ は0.68であったのに対し、トレーニングベースのシステムは1.92であった。これは、誤検出が少ないことを示している。
• 車両の発進イベントでは、トレーニングフリーなシステムの $P_{miss}$ は0.52、$R_{fa}$ は0.43であったが、トレーニングベースのシステムは $P_{miss}$ 0.32 ではあったが、$R_{fa}$ が22.22 と極めて高く、過学習の兆候が見られた。
• $P_{miss}$ のカーブから、すべての $R_{fa}$ および $T_{fa}$ 閾値において、トレーニングフリーなモデルがトレーニングベースのモデルを一貫して上回っていることが明らかになった。
• CADPデータセットにおいて、システムは交通衝突を正しく検出できた。可視化結果から、鳥瞰図での正確な軌跡予測と衝突位置の特定が可能であることが確認された。
• 3次元再構築のおかげで、オクルージョンや視点変化に対してもロバストであるため、複雑な交差点でも信頼性の高い性能を発揮した。