[논문 리뷰] Smart City Transportation: Deep Learning Ensemble Approach for Traffic Accident Detection

Victor Adewopo, Nelly Elsayed|arXiv (Cornell University)|2023. 10. 16.

Traffic Prediction and Management TechniquesEngineering인용 수 3

한 줄 요약

이 논문은 스마트 시티에서 실시간 교통 사고 탐지에 적합한 경량 I3D-CONVLSTM2D 모델을 제안한다. RGB 영상 프레임과 옵티컬 플로우를 융합하여 개발되었으며, 새로 구축한 정제된 데이터셋으로 훈련되어 87%의 평균 정밀도(MAP)를 달성하였다. 기존 기준 모델들을 능가하는 성능을 보이며, Raspberry Pi와 같은 에지 디바이스에 최적화되어 배포 가능하다.

ABSTRACT

The dynamic and unpredictable nature of road traffic necessitates effective accident detection methods for enhancing safety and streamlining traffic management in smart cities. This paper offers a comprehensive exploration study of prevailing accident detection techniques, shedding light on the nuances of other state-of-the-art methodologies while providing a detailed overview of distinct traffic accident types like rear-end collisions, T-bone collisions, and frontal impact accidents. Our novel approach introduces the I3D-CONVLSTM2D model architecture, a lightweight solution tailored explicitly for accident detection in smart city traffic surveillance systems by integrating RGB frames with optical flow information. Our experimental study's empirical analysis underscores our approach's efficacy, with the I3D-CONVLSTM2D RGB + Optical-Flow (Trainable) model outperforming its counterparts, achieving an impressive 87\% Mean Average Precision (MAP). Our findings further elaborate on the challenges posed by data imbalances, particularly when working with a limited number of datasets, road structures, and traffic scenarios. Ultimately, our research illuminates the path towards a sophisticated vision-based accident detection system primed for real-time integration into edge IoT devices within smart urban infrastructures.

연구 동기 및 목표

• 스마트 시티 인fra에서 자원이 제한된 IoT 에지 디바이스에 배포 가능한 실시간이고 계산 효율적인 사고 탐지 시스템을 개발하는 것.
• 기존 사고 탐지 데이터셋의 데이터 불균형 및 다양성 부족 문제를 해결하기 위해 교통 및 데스크캠 영상에서 특화된 벤치마크 데이터셋을 정제하여 구축하는 것.
• 새로운 딥 러닝 아키텍처를 통해 RGB 프레임과 옵티컬 플로우에서 유도된 시공간 특징을 융합하여 탐지 정확도를 향상시키는 것.
• 정지 차량이나 느린 차량 이동과 유사한 사건들(예: 정지 차량, 느린 교통)과 진짜 교통 사고를 구분하여 시스템의 강인성을 높이는 것.
• I3D와 같은 무거운 모델에 대한 경량이며 훈련 가능한 대안을 제공하여 자원이 제한된 하드웨어 환경에서 실질적인 실생활 적용을 가능하게 하는 것.

제안 방법

• 제안된 I3D-CONVLSTM2D 모델은 3D 컨볼루션 신경망(I3D)과 ConvLSTM2D 레이어를 조합하여 영상 시퀀스에서 시공간 특징을 추출한다.
• 모델은 RGB 프레임과 옵티컬 플로우 입력을 모두 처리하며, 특징 융합을 통해 동적 사고 관련 운동을 향상시켜 탐지한다.
• 특징 표현 향상과 훈련 시간 단축을 위해 Kinetics 데이터셋에서 미사전훈련된 I3D 가중치를 사용하는 전이학습 기법을 적용한다.
• RGB 및 옵티컬 플로우 입력을 위한 별도의 분기 브랜치를 갖춘 이중 스트림 아키텍처를 사용하며, 분류 이전에 후기 융합을 수행한다.
• 다양한 사고 유형(후진, T자 충돌, 정면 충돌)과 도로 조건을 포함한 1,000개 이상의 영상 클립으로 구성된 커스터마이제이션된 데이터셋으로 모델을 훈련시켰다.
• 총 파rameter 수가 900만 개인 RGB + 옵티컬 플로우 변형 모델을 사용하여 에지 배포를 최적화하기 위해 모델 압축 기법을 적용하였다.

Figure 1: Percentage distribution of different types of collision.

실험 결과

연구 질문

• RQ1 감시 카메라에서 제공하는 RGB 및 옵티컬 플로우 입력만으로도 경량 딥 러닝 모델이 실시간으로 교통 사고를 효과적으로 탐지할 수 있는가?
• RQ2 RGB와 옵티컬 플로우의 융합이 단일 모odal(모드)을 사용할 때보다 사고 탐지 정확도를 얼마나 향상시키는가?
• RQ3 커스터마이제이션된 정제된 데이터셋이 희귀 사고 유형에 대한 모델 일반화 능력과 성능 향상에 얼마나 기여하는가?
• RQ4 I3D-CONVLSTM2D 아키텍처는 정확도와 계산 효율성 측면에서 기존 최첨단 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 시스템의 주요 실패 유형은 무엇이며, 실생활 배포 시 이를 어떻게 완화할 수 있는가?

주요 결과

• I3D-CONVLSTM2D RGB + 옵티컬 플로우(훈련 가능한) 모델은 평균 정밀도(MAP)가 87%로, 다른 기준 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 사고 이벤트 분류 정확도가 80%였으며, 트랜스포머 기반 변형에서는 정밀도, 재현율, F1 스코어가 각각 75%였지만, 훈련 시간이 더 길었다.
• 총 900만 파라미터의 경량 아키텍처는 2개 GPU 환경(각 GPU당 11GB)에서 성공적으로 훈련되어 효율적인 에지 배포가 가능했다.
• 연구에서 정지 차량과 느린 이동 차량이 자주 오진을 유발하는 것으로 밝혀져, 더 나은 맥락 이해가 필요함을 시사했다.
• 먼지, smog, 저조도와 같은 환경 요인이 모델 성능을 저하시키는 것으로 확인되어, 강인성 향상의 필요성을 강조했다.
• 다양한 사고 시나리오와 도로 유형을 포함한 정제된 데이터셋은 훈련과 일반화에 매우 유용했으며, 향후 연구를 위한 자원으로 기여했다.

Figure 2: Accidents by Intersection Type and Light Condition Associated.