[논문 리뷰] A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention

Muhammad Monjurul Karim, Yu Li외 2명|arXiv (Cornell University)|2021. 06. 18.

Advanced Neural Network Applications참고 문헌 19인용 수 6

한 줄 요약

이 논문은 복잡한 주행 환경에서 사고 위험 평가 및 방지를 위한 실시간 복잡한 주행 환경 분석을 가능하게 하는 시각 센서 기반 딥러닝 시스템을 제안한다. Multi-Net, YOLO v3, DeepLab v3를 통합하여 개발하였으며, 사고 가능성 및 도로 기능 분류를 위한 두 가지 새로운 공개 데이터셋을 제안하여, 환경 분류 정확도 92.5%와 객체 검출 및 분류 작업의 실시간 추론 속도 6 fps를 달성하였다.

ABSTRACT

To assist human drivers and autonomous vehicles in assessing crash risks, driving scene analysis using dash cameras on vehicles and deep learning algorithms is of paramount importance. Although these technologies are increasingly available, driving scene analysis for this purpose still remains a challenge. This is mainly due to the lack of annotated large image datasets for analyzing crash risk indicators and crash likelihood, and the lack of an effective method to extract lots of required information from complex driving scenes. To fill the gap, this paper develops a scene analysis system. The Multi-Net of the system includes two multi-task neural networks that perform scene classification to provide four labels for each scene. The DeepLab v3 and YOLO v3 are combined by the system to detect and locate risky pedestrians and the nearest vehicles. All identified information can provide the situational awareness to autonomous vehicles or human drivers for identifying crash risks from the surrounding traffic. To address the scarcity of annotated image datasets for studying traffic crashes, two completely new datasets have been developed by this paper and made available to the public, which were proved to be effective in training the proposed deep neural networks. The paper further evaluates the performance of the Multi-Net and the efficiency of the developed system. Comprehensive scene analysis is further illustrated with representative examples. Results demonstrate the effectiveness of the developed system and datasets for driving scene analysis, and their supportiveness for crash risk assessment and crash prevention.

연구 동기 및 목표

• 복잡한 주행 환경에서 사고 위험 지표 및 사고 가능성에 대한 애너테이션된 데이터셋의 부족을 해결하기 위해.
• 자율주행 차량 및 인간 운전자를 위한 상황 인식 능력을 향상시키는 실시간 다중 작업 딥러닝 시스템을 개발하기 위해.
• 사고 가능성, 도로 기능, 날씨, 시간대 기반으로 환경를 분류하여 사고 위험 평가를 향상시키기 위해.
• 객체 검출 및 인스턴스 세그멘테이션을 통해 위험한 보행자와 가장 가까운 차량을 탐지하고 위치를 파악하기 위해.
• 기존 시스템의 한계를 극복하기 위해 다중 작업 분류를 객체 검출 및 세그멘테이션과 통합하여 종합적인 환경 이해를 가능하게 하기 위해.

제안 방법

• 사고 가능성, 도로 기능, 날씨, 시간대를 포함한 네 가지 레이블로 주행 환경를 분류하기 위해, 두 개의 다중 작업 딥 네트워크를 사용한 Multi-Net 모델을 개발하였다.
• 실시간 보행자 및 차량 객체 검출을 위해 YOLO v3를 통합하였으며, 위험한 보행자는 빨간색 경계 상자로, 안전한 보행자는 초록색 경계 상자로 강조 표시하였다.
• 주행 가능한 영역을 식별하고 위험한 요소의 정확한 국지를 지원하기 위해 DeepLab v3를 통합하여 인스턴스 세그멘테이션을 수행하였다.
• 이중 단계 추론 파이프라인을 설계하였으며, 첫 번째 단계에서는 DeepLab v3를 사용해 2 fps 속도로 이미지 세그멘테이션을 수행하고, 두 번째 단계에서는 Multi-Net과 YOLO v3를 통해 분류 및 객체 검출을 6 fps 속도로 수행하였다.
• 사고 관련 환경 분류를 위한 새로운 데이터셋(사고 없음, 사고 전, 사고 발생)과 도로 기능 분류를 위한 데이터셋(고속도로, 수거도로, 지역도로 등)을 각각 제작하였다.
• GPU 메모리 부담을 줄이기 위해 세그멘테이션 출력을 디스크에 저장하여 메모리 사용량을 최적화하였다.

실험 결과

연구 질문

• RQ1 다중 작업 딥 네트워크는 사고 가능성, 도로 기능, 날씨, 시간대 기반으로 복잡한 주행 환경를 효과적으로 분류할 수 있는가?
• RQ2 YOLO v3와 DeepLab v3는 실시간으로 위험한 보행자와 가장 가까운 차량을 얼마나 정확하게 탐지하고 위치를 파악할 수 있는가?
• RQ3 신규로 개발된 데이터셋은 딥러닝 모델의 사고 위험 평가 작업 성능 향상에 얼마나 기여하는가?
• RQ4 통합 시스템의 추론 속도는 얼마이며, 실시간 주행 환경 분석을 지원할 수 있는가?
• RQ5 주행 가능한 영역 세그멘테이션과 객체 검출을 어떻게 통합하여 사고 방지를 위한 상황 인식 능력을 향상시킬 수 있는가?

주요 결과

• Multi-Net은 사고 가능성 및 도로 기능 데이터셋에서 92.5%의 환경 분류 정확도를 달성하여 다중 레이블 분류 작업에서 뛰어난 성능을 보였다.
• 시스템은 직접 차선 위에 있거나 주행 가능한 영역 외부에 위치한 위험한 보행자를 적절히 탐지하고 빨간색 경계 상자로 강조 표시하였으며, 안전한 보행자는 초록색으로 표시하였다.
• 시스템은 위험한 보행자까지의 정확한 거리를 계산하였으며(예: 10.23 ft 및 5.07 ft), 가장 가까운 차량까지의 거리도 정확히 계산하였다(예: 4.63 ft 및 14.34 ft)로, 위험 인식 기반 의사결정을 가능하게 하였다.
• 분류 및 객체 검출 작업의 추론 속도는 6 fps에 도달하여, 인스턴스 세그멘테이션의 2 fps 제한 요소에도 불구하고 실시간 분석을 지원하였다.
• 신규로 개발된 두 개의 데이터셋은 딥 네트워크 훈련에 효과적이며, 향후 주행 환경 분석 연구를 지원하기 위해 공개되어 있다.
• 시스템은 사고 관련 요소인 보행자 및 차량을 탐지하고 위치를 정확히 파악할 수 있었으며, 사고 위험 방지를 위한 상황 인식 능력을 크게 향상시켰다.