[논문 리뷰] Training-free Monocular 3D Event Detection System for Traffic Surveillance

Lijun Yu, Peng Chen외 3명|ArXiv.org|2020. 02. 01.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 4

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터를 필요로 하며, 2D 영상과 카메라 캘리브레이션을 이용해 3D 유클리드 공간에서 차량의 궤적을 재구성함으로써 교통 감시를 위한 훈련 없이도 단안 3D 이벤트 검출 시스템을 제안한다. 이는 차량의 행동과 충돌을 강건하게 검출할 수 있게 하며, 실제 데이터셋에서 최신의 훈련 기반 방법보다 뛰어난 성능을 보이며, 가림과 시점 변화에 대해 저항력이 있다.

ABSTRACT

We focus on the problem of detecting traffic events in a surveillance scenario, including the detection of both vehicle actions and traffic collisions. Existing event detection systems are mostly learning-based and have achieved convincing performance when a large amount of training data is available. However, in real-world scenarios, collecting sufficient labeled training data is expensive and sometimes impossible (e.g. for traffic collision detection). Moreover, the conventional 2D representation of surveillance views is easily affected by occlusions and different camera views in nature. To deal with the aforementioned problems, in this paper, we propose a training-free monocular 3D event detection system for traffic surveillance. Our system firstly projects the vehicles into the 3D Euclidean space and estimates their kinematic states. Then we develop multiple simple yet effective ways to identify the events based on the kinematic patterns, which need no further training. Consequently, our system is robust to the occlusions and the viewpoint changes. Exclusive experiments report the superior result of our method on large-scale real-world surveillance datasets, which validates the effectiveness of our proposed system.

연구 동기 및 목표

• 희귀 교통 사고(예: 충돌)에 대한 레이블이 부족하고 비용이 많이 드는 훈련 데이터 문제를 해결하기 위해.
• 가림과 시점 민감성 등의 문제로 인해 2D 감시 영상 분석에 한계가 있음을 해결하기 위해.
• 모델의 보정 또는 재훈련이 필요 없이 실시간으로 확장 가능한 대규모 교통 감시 시스템을 개발하기 위해.
• 기하학적 및 운동학적 추론만을 사용하여 차량의 회전, U턴, 시동, 정지, 충돌과 같은 복잡한 이벤트를 정확하게 검출할 수 있도록 하기 위해.

제안 방법

• 카메라 캘리브레이션 파라미터를 이용해 2D 객체 검출 및 추적 결과를 3D 유클리드 공간으로 투영한다.
• 각 차량의 운동 상태(위치, 속도, 가속도)를 상향 시점의 도로 뷰에서 추정한다.
• 학습이나 훈련 없이도 사전 정의된 운동 패턴 규칙(예: 급격한 감속 또는 궤적의 분리)을 사용해 이벤트 검출을 수행한다.
• 효율적인 기하학적 변환과 이벤트 패턴 매칭을 활용해 실시간 스트림 처리를 지원한다.
• 충돌 검출을 위해 3D 공간에서 궤적의 분리와 거리 임계값을 사용하며, 필요에 따라 수동으로 퇴적점(veering point)을 캘리브레이션한다.
• 평가에는 표준 ActEV 메트릭($P_{miss}$, $R_{fa}$, $T_{fa}$)을 사용하며, 훈련 기반 기준 모델과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 학습 없이도 학습 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 3D 궤적 재구성이 단안 감시에서 가림과 시점 변화에 대해 얼마나 강건한가?
• RQ3 레이블이 없는 데이터로도 운동 패턴 분석이 U턴과 충돌과 같은 복잡한 이벤트를 얼마나 잘 탐지할 수 있는가?
• RQ4 제한된 훈련 데이터를 가진 실제 대규모 감시 데이터에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• 훈련 없이도 평균 $P_{miss}$가 0.60으로, 훈련 기반 시스템의 0.88보다 유의미하게 낮아 더 높은 탐지 재현율을 보였다.
• 좌회전에 대해 훈련 없는 시스템의 $R_{fa}$는 0.68이었고, 훈련 기반 시스템은 1.92로 더 많은 오류 경고를 보였다.
• 차량 시동 이벤트의 경우, 훈련 없는 시스템은 $P_{miss}$가 0.52, $R_{fa}$가 0.43이었고, 훈련 기반 시스템은 $P_{miss}$가 0.32였지만 매우 높은 $R_{fa}$인 22.22를 기록해 과적합의 징후를 보였다.
• $P_{miss}$ 곡선은 훈련 없는 모델이 모든 $R_{fa}$ 및 $T_{fa}$ 임계값에서 훈련 기반 모델을 일관되게 능가함을 보여주었다.
• CADP 데이터셋에서 교통 충돌을 성공적으로 탐지했으며, 시각화 결과에서 정확한 궤적 예측과 충돌 지역의 정확한 위치 파악이 가능했다.
• 3D 재구성 덕분에 가림과 시점 변화에 강건하여, 복잡한 교차로에서도 신뢰할 수 있는 성능을 발휘했다.