[논문 리뷰] Edge Computing for Real-Time Near-Crash Detection for Smart Transportation Applications

Ruimin Ke, Zhiyong Cui외 4명|arXiv (Cornell University)|2020. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 5

한 줄 요약

이 논문은 실시간 근접충돌 탐지에 대한 엣지 컴퓨팅 기반 시스템을 제안하며, 차량 내 카메라 영상 스트림을 활용하여 다중 스레드 처리와 객체 탐지 및 추적 출력의 선형 복잡도 모델링을 구현한다. 실제 도로 환경에서 10,000시간에 달하는 데이터를 대상으로 평가한 결과, 시스템은 높은 효율성, 정확도, 이식 가능성을 확보하면서도 대역폭, 저장소 및 노동력 비용을 줄였다. 이는 실시간으로 관련 없는 영상을 필터링함으로써 달성되었다.

ABSTRACT

Traffic near-crash events serve as critical data sources for various smart transportation applications, such as being surrogate safety measures for traffic safety research and corner case data for automated vehicle testing. However, there are several key challenges for near-crash detection. First, extracting near-crashes from original data sources requires significant computing, communication, and storage resources. Also, existing methods lack efficiency and transferability, which bottlenecks prospective large-scale applications. To this end, this paper leverages the power of edge computing to address these challenges by processing the video streams from existing dashcams onboard in a real-time manner. We design a multi-thread system architecture that operates on edge devices and model the bounding boxes generated by object detection and tracking in linear complexity. The method is insensitive to camera parameters and backward compatible with different vehicles. The edge computing system has been evaluated with recorded videos and real-world tests on two cars and four buses for over ten thousand hours. It filters out irrelevant videos in real-time thereby saving labor cost, processing time, network bandwidth, and data storage. It collects not only event videos but also other valuable data such as road user type, event location, time to collision, vehicle trajectory, vehicle speed, brake switch, and throttle. The experiments demonstrate the promising performance of the system regarding efficiency, accuracy, reliability, and transferability. It is among the first efforts in applying edge computing for real-time traffic video analytics and is expected to benefit multiple sub-fields in smart transportation research and applications.

연구 동기 및 목표

• 스마트 교통 시스템에서 대규모 영상 데이터에서 근접충돌 이벤트를 추출하는 데 필요한 높은 계산, 통신 및 저장 요구 사항을 해결하기 위해.
• 대규모 배포에 적합하지 않은 기존 근접충돌 탐지 방법의 비효율성과 이식 불가능성 문제를 해결하기 위해.
• 클라우드 인프라에 의존하지 않고 차량 내 엣지 장치에서 실시간으로 드래그카메라 영상 스트림을 처리할 수 있도록 하기 위해.
• 충돌 이벤트뿐 아니라 차량 속도, 궤적, 충돌까지의 시간과 같은 풍부한 맥락 데이터를 캡처할 수 있도록 시스템을 개발하기 위해.
• 카메라 설정에 민감하지 않은 설계를 통해 다양한 차량 및 카메라 구성 간의 호환성을 보장하기 위해.

제안 방법

• 엣지 장치에 다중 스레드 시스템 아키텍처를 구현하여 영상 스트림 처리와 실시간 분석을 동시에 수행할 수 있도록 한다.
• 객체 탐지 및 추적 출력을 선형 복잡도 알고리즘으로 모델링하여 확장성과 저지연 처리를 보장한다.
• 객체 탐지에서 생성된 경계상자들을 처리하여 충돌까지의 시간, 차량 속도, 궤적과 같은 핵심 지표를 계산한다.
• 사고 영상와 함께 도로 이용자 유형, 이벤트 위치, 브레이크 스위치 상태, 페달 입력 등의 구조화된 데이터를 추출하고 저장한다.
• 다양한 차량 유형과 카메라 설정과도 호환되도록 설계되어 있어 광범위한 배포 가능성을 확보한다.
• 현장에서 비사고 영상의 실시간 필터링을 수행하여 데이터 전송 및 저장 요구를 크게 줄인다.

실험 결과

연구 질문

• RQ1 엣지 컴퓨팅을 통해 클라우드 인프라에 의존하지 않고도 차량 내에서 실시간으로 드래그카메라 영상 스트림을 처리하여 근접충돌을 탐지할 수 있는가?
• RQ2 비효율적인 영상 콘텐츠를 얼마나 효율적으로 필터링하면서도 핵심적인 안전 관련 데이터는 유지할 수 있는가?
• RQ3 다양한 차량 및 카메라 구성 간에 시스템의 강건성과 이식 가능성은 어느 정도인가?
• RQ4 실제 주행 조건에서 근접충돌 이벤트 탐지에 있어 시스템의 정확도와 신뢰성은 어느 정도인가?
• RQ5 실시간으로 사고 영상과 함께 속도, 궤적, 브레이크 상태와 같은 풍부한 맥락 데이터를 동시에 추출할 수 있는가?

주요 결과

• 시스템은 두 대의 자동차와 네 대의 버스에서 온 실제 도로 영상 데이터 약 10,000시간을 높은 신뢰성과 낮은 지연으로 성공적으로 처리했다.
• 실시간으로 관련 없는 영상 콘텐츠를 필터링함으로써 네트워크 대역폭, 데이터 저장소 및 수작업 비용을 크게 줄였다.
• 실제 도로 테스트를 통해 근접충돌 이벤트 탐지에 높은 정확도를 보였으며, 사고 탐지에 실패 사례가 보고되지 않았다.
• 카메라 설정에 민감하지 않으며 다양한 차량 유형과 구성에서도 일관된 성능을 유지한다.
• 충돌까지의 시간, 차량 속도, 브레이크 스위치 상태, 페달 입력과 같은 유용한 보조 데이터를 고정밀도로 캡처하고 저장했다.
• 강력한 이식 가능성과 효율성을 갖춘 실시간 교통 영상 분석을 위한 엣지 컴퓨팅의 첫 번째 구현 사례 중 하나로 평가된다.