[논문 리뷰] Real-time Prediction of Automotive Collision Risk from Monocular Video

Derek J. Phillips, Juan Carlos Aragon외 4명|arXiv (Cornell University)|2019. 02. 04.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 10

한 줄 요약

이 논문은 단일 카메라 영상에서 깊이 학습 기반 객체 검출, 입자 필터 기반 추적기, 그리고 제1원리 기반 거리 및 속도 추정을 조합한 모듈식 파이프라인을 사용하여 실시간, 저비용의 자동차 충돌 위험 예측 시스템을 제안한다. 소비자용 하드웨어에서 5 Hz 이상의 추론 성능를 달성하며, 향후 10초 간의 위험 예측을 시간-충돌까지의 시간(TTC)과 운전자 모델을 활용한 몬테카를로 시뮬레이션을 통해 수행하여 표준 랩탑과 웹캠에서 안정적이고 실용적인 구현이 가능함을 입증한다.

ABSTRACT

Many automotive applications, such as Advanced Driver Assistance Systems (ADAS) for collision avoidance and warnings, require estimating the future automotive risk of a driving scene. We present a low-cost system that predicts the collision risk over an intermediate time horizon from a monocular video source, such as a dashboard-mounted camera. The modular system includes components for object detection, object tracking, and state estimation. We introduce solutions to the object tracking and distance estimation problems. Advanced approaches to the other tasks are used to produce real-time predictions of the automotive risk for the next 10 s at over 5 Hz. The system is designed such that alternative components can be substituted with minimal effort. It is demonstrated on common physical hardware, specifically an off-the-shelf gaming laptop and a webcam. We extend the framework to support absolute speed estimation and more advanced risk estimation techniques.

연구 동기 및 목표

• 단일 영상 스트림만을 사용하여 자동차 주행 환경에서 향후 충돌 위험을 실시간으로 예측할 수 있는 저비용 시스템을 개발하는 것.
• 최소한의 계산 오버헤드로 단일 영상에서 객체 추적, 상대 거리 추정, 자동차 자체 속도 추정의 과제를 해결하는 것.
• 소비자용 하드웨어에서 5 Hz 이상의 실시간 위험 예측을 지원하는 모듈식이고 확장 가능한 프레임워크를 설계하는 것.
• 차선 표시를 활용한 절대 속도 추정 및 운전자 행동의 몬테카를로 시뮬레이션을 통한 고급 위험 모델링을 시스템에 확장하는 것.
• 미래의 실시간 자동차 위험 예측 연구를 위한 오픈소스 플랫폼을 제공하는 것.

제안 방법

• 장애물의 상태를 영상 프레임 간에 추정하기 위해 입자 필터 기반 객체 추적기를 제안하여, 가림과 노이즈 상황에서도 견고한 추적을 가능하게 한다.
• 차량의 이미지 내 높이와 알려진 차량 치수를 이용해 기하학적 방법으로 상대 거리를 추정하는 제1원리 기반 방법을 도입하여 딥러닝 기반 깊이 추정을 회피한다.
• 차선 표시를 영상에서 검출하고 추적하여 공간 주파수와 방향성을 이용해 운동을 유추함으로써 자동차 자체의 속도를 추정한다.
• 영상 내 차량 간의 상대 위치와 속도를 기반으로 시간-충돌까지의 시간(TTC)을 계산하여 위험의 대체 지표로 사용한다.
• 스토캐스틱한 운전자 행동을 시뮬레이션하고 확률적 위험 예측을 생성하기 위해 지능형 운전자 모델(IDM)과 MOBIL 차선 변경 모델을 활용한 몬테카를로 위험 추정을 구현한다.
• 다중 스레딩을 통해 실시간 성능를 유지하며, 검출, 추적, 상태 추정, 위험 계산을 별도의 처리 파이프라인으로 분리한다.

실험 결과

연구 질문

• RQ1 소비자용 하드웨어만을 사용하여 단일 영상 시스템이 5 Hz 이상의 실시간 자동차 위험 예측을 달성할 수 있는가?
• RQ2 입자 필터 기반 추적기와 기하학적 거리 추정이 주행 환경에서 실시간 객체 상태 추정에 얼마나 효과적인가?
• RQ3 차선 표시를 신뢰성 있게 사용하여 위험 예측에 충분한 정확도로 자동차 자체 속도를 추정할 수 있는가?
• RQ4 정적 TTC 기반 위험 예측에 비해 운전자 행동의 몬테카를로 시뮬레이션은 위험 예측의 현실성과 반응성에 어떻게 기여하는가?
• RQ5 시스템을 얼마나 모듈식으로 구성하고, 실시간 성능에 영향을 주지 않으면서도 다른 구성 요소로 쉽게 확장할 수 있는가?

주요 결과

• 표준 게이밍 랩탑과 웹캠에서 시스템은 실시간 성능를 확보하며, 더 계산 비용이 높은 몬테카를로 위험 추정기 사용 시 약 4.9 FPS의 최종 프레임 레이트를 기록한다.
• 65 km/h에서 차선 기반 속도 추정기는 실제 속도계 읽기보다 약 7 km/h 낮게 예측하지만, 이는 미국 속도계 표준의 허용 허용 범위 내에 있다.
• 입자 필터 추적기는 부분적인 가림과 노이즈 상황에서도 안정적이고 정확한 차량 참가자 추적을 가능하게 한다.
• 딥러닝 기반 깊이 네트워크나 스테레오 카메라가 필요 없이도 기하학적 거리 추정 방법이 신뢰할 수 있는 상대 거리 측정을 제공한다.
• 운전자 모델을 활용한 몬테카를로 위험 추정은 차량 행동의 스토캐스틱 시뮬레이션 덕분에 정적이고 결정론적인 TTC 기반 위험 예측보다 더 다이나믹하고 현실적인 위험 예측을 생성한다.
• 모듈식 설계 덕분에 객체 검출기나 위험 모델과 같은 다른 구성 요소를 최소한의 코드 변경으로도 원활하게 통합할 수 있다.