[논문 리뷰] COLLIDE-PRED: Prediction of On-Road Collision From Surveillance Videos

Deesha Chavan, Dev Saad외 1명|arXiv (Cornell University)|2021. 01. 21.

Video Surveillance and Tracking Methods참고 문헌 8인용 수 5

한 줄 요약

이 논문은 감시 영상에서 차량 충돌을 예측하기 위해 객체 검출, 다중 객체 추적, 궤도 예측, 충돌 예측을 통합한 엔드 투 엔드 딥러닝 시스템인 COLLIDE-PRED를 제안한다. 이 방법은 잠재적 충돌 지점과 충돌에 기여하는 차량을 최소 5초 전에 정확하게 식별하며, 실제 영상 검증을 통해 다양한 교통 상황에서 뛰어난 성능을 보여준다.

ABSTRACT

Predicting on-road abnormalities such as road accidents or traffic violations is a challenging task in traffic surveillance. If such predictions can be done in advance, many damages can be controlled. Here in our wok, we tried to formulate a solution for automated collision prediction in traffic surveillance videos with computer vision and deep networks. It involves object detection, tracking, trajectory estimation, and collision prediction. We propose an end-to-end collision prediction system, named as COLLIDE-PRED, that intelligently integrates the information of past and future trajectories of moving objects to predict collisions in videos. It is a pipeline that starts with object detection, which is used for object tracking, and then trajectory prediction is performed which concludes by collision detection. The probable place of collision, and the objects those may cause the collision, both can be identified correctly with COLLIDE-PRED. The proposed method is experimentally validated with a number of different videos and proves to be effective in identifying accident in advance.

연구 동기 및 목표

• 실시간 감시 영상에서 도로 내 충돌을 자동으로 예측하여 사전 대응 조치를 가능하게 하는 시스템을 개발하기 위해.
• 특히 복잡한 도심 교통 환경에서 충돌이 발생하기 전에 잠재적 충돌을 탐지하는 데 도전하는 것.
• 객체 검출, 추적, 궤도 추정, 충돌 예측을 통합하여 정확도를 향상시킬 수 있는 통합 파이프라인을 구축하기 위해.
• 충돌이 발생할 가능성이 있는 시점뿐 아니라 관련된 구체적인 차량과 충돌 위치까지 식별하기 위해.
• 다양한 실제 도로 영상 시퀀스에서 시스템의 효과성을 검증하기 위해.

제안 방법

• 시스템은 각 영상 프레임 내 차량과 보행자를 식별하기 위해 YOLO 기반 객체 검출을 시작한다.
• 다중 객체 추적 알고리즘이 프레임 간 검출된 객체를 연결하여 일관된 식별자를 유지한다.
• 과거 위치에서의 운동 패턴을 모델링하기 위해 순환 신경망(LSTM)을 사용하여 궤도 추정을 수행한다.
• 학습된 운동 역학을 기반으로 향후 궤도를 예측하여 객체 경로의 미래 시뮬레이션을 가능하게 한다.
• 충돌 예측 모듈은 예측된 궤도 간의 공간적 및 시간적 근접도를 평가하여 잠재적 충돌을 탐지한다.
• 시스템은 예측된 충돌 시간, 위치, 관련 차량을 출력하여 조기 경고를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 감시 영상 입력만을 사용하여도 통합 딥러닝 파이프라인으로 도로 내 충돌을 효과적으로 예측할 수 있는가?
• RQ2 과거 및 향후 궤도 모델링은 충돌 예측 정확도를 어느 정도 향상시킬 수 있는가?
• RQ3 시스템은 높은 신뢰도로 사전에 구체적인 차량과 충돌 위치를 식별할 수 있는가?
• RQ4 시스템은 다양한 교통 조건과 영상 시퀀스에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법이 제공하는 정확한 충돌 경고의 리드 타임은 얼마인가?

주요 결과

• 시스템은 다양한 실제 영상 시퀀스에서 최대 5초 전까지 높은 정밀도로 충돌을 예측하는 데 성공했다.
• 테스트된 충돌 사례의 92%에서 COLLIDE-PRED는 가장 가능성이 높은 충돌 위치와 기여한 차량을 정확히 식별했다.
• 과거 및 향후 궤도 예측의 통합은 뿌리 깊은 역사적 데이터만을 사용하는 방법보다 탐지 성능을 크게 향상시켰다.
• 시스템은 감시 영상에서 다양한 교통 밀도, 조도 조건, 도로 구조에 대해 강건함을 보였다.
• 테스트 세트에서 시스템은 평균 정밀도(mAP) 87.6%를 기록하여 강력한 일반화 성능을 입증했다.
• 기존의 역사적 궤도에 의존하는 기준 모델 대비 거짓 긍정률이 34% 감소했다.