[논문 리뷰] AccidentGPT: Accident Analysis and Prevention from V2X Environmental Perception with Multi-modal Large Model

Lening Wang, Yilong Ren외 10명|arXiv (Cornell University)|2023. 12. 20.

Autonomous Vehicle Technology and Safety인용 수 15

한 줄 요약

AccidentGPT는 V2X 환경 인식을 GPT 기반 추론과 융합하는 다중 모달 대형 모델을 도입하여 사고를 분석하고 자율주행, 인간 운전, 그리고 단속 맥락에서의 예방에 도움을 제공합니다.

ABSTRACT

Traffic accidents, being a significant contributor to both human casualties and property damage, have long been a focal point of research for many scholars in the field of traffic safety. However, previous studies, whether focusing on static environmental assessments or dynamic driving analyses, as well as pre-accident predictions or post-accident rule analyses, have typically been conducted in isolation. There has been a lack of an effective framework for developing a comprehensive understanding and application of traffic safety. To address this gap, this paper introduces AccidentGPT, a comprehensive accident analysis and prevention multi-modal large model. AccidentGPT establishes a multi-modal information interaction framework grounded in multi-sensor perception, thereby enabling a holistic approach to accident analysis and prevention in the field of traffic safety. Specifically, our capabilities can be categorized as follows: for autonomous driving vehicles, we provide comprehensive environmental perception and understanding to control the vehicle and avoid collisions. For human-driven vehicles, we offer proactive long-range safety warnings and blind-spot alerts while also providing safety driving recommendations and behavioral norms through human-machine dialogue and interaction. Additionally, for traffic police and management agencies, our framework supports intelligent and real-time analysis of traffic safety, encompassing pedestrian, vehicles, roads, and the environment through collaborative perception from multiple vehicles and road testing devices. The system is also capable of providing a thorough analysis of accident causes and liability after vehicle collisions. Our framework stands as the first large model to integrate comprehensive scene understanding into traffic safety studies. Project page: https://accidentgpt.github.io

연구 동기 및 목표

• 정Integrated 인식 및 추론을 활용한 정적 환경, 동적 상태 및 사고 전/후 작업에 걸친 포괄적 교통 안전 분석 동기 부여.
• 다중 센서 V2X 인식과 대형 언어 모델을 결합한 end-to-end 사고 분석 및 예방 프레임워크 개발.
• 자율주행 차량이 충돌 회피를 위해 지각하고 예측하도록 하면서, 인간 운전 차량에 선제적 경고 및 안전 지침을 제공.
• 현장 교통 관리 및 관리 기관에 실시간, 협력적 인지와 사고 원인 분석을 지원.
• 교통 안전 연구를 위한 포괄적 장면 이해를 제공하는 최초의 대형 모델 통합을 시연합니다.

제안 방법

• 다수의 차량 및 도로 장치로부터의 파노라마 이미지를 융합하여 3D 탐지, BEV 맵, 궤도 예측을 생성하는 V2X-인지 모듈을 구축합니다.
• 다중 레벨 우선순위 샘플링 프롬프트 시스템, 활성/비활성 작업 프롬프트 및 사고 관련 작업을 위한 특수 출력 모듈을 갖춘 GPT-추론 모듈(GPT-4V 기반)을 구현합니다.
• Ego-motion을 통한 BEV 특성 융합 및 다중 작업 탐지헤드에 대한 다시간 시퀀스 인지 데이터를 정렬합니다.
• 동태적 코퍼스가 동적으로 구성되고, 과거 및 맥락 데이터를 검색하며, 적극적/반응적 운전자 프롬프트를 지원하는 코퍼스 기반 프롬프팅 파이프라인을 개발합니다.
• LLM 계산 내에서 사고-사고 흐름 차원의 추론 흐름을 포함하여 안전 의사결정 및 불확실성 처리를 개선합니다.
• 운전 결과로부터 자동으로 코퍼스를 업데이트하여 추론 및 위험 평가를 점진적으로 개선합니다.

Figure 1: The overall framework of AccidentGPT.

실험 결과

연구 질문

• RQ1 다중 차량 및 차량-도로 협업 인지와 LLM 기반 추론의 통합이 사고 분석 및 예방에 어떤 영향을 미치는가?
• RQ2 V2X-인지 출력(3D 탐지, BEV 인지, 궤도)이 GPT-4V 추론에 어떻게 효과적으로 연료되어 적극적 경고와 사고 후 원인 분석에 기여하는가?
• RQ3 활성/비활성 프롬프팅 및 반복적 코퍼스 업데이트가 실제 교통 상황에서 안전 권고 및 책임 평가를 개선할 수 있는가?

주요 결과

• V2X-인식(저희 방식)은 표 1의 기준치보다 높은 지표를 달성하며 탐지 41.07%, mIOU 57.3%, VPQ 45.2%를 보였습니다.
• 다른 모델에 비해 우리 방법은 여러 기준에서 BEV 인식 및 궤도 예측 성능이 향상되었습니다.
• 표 2는 Pedestrian 행의 자세한 오차 지표(mATE 1.0017, mASE 0.9993, mAOE 1.0253)를 포함하여 모델의 Car/Truck/Van/Pedestrian mATE, mASE, mAOE 지표를 나타냅니다.
• GPT-추론 모듈은 인간-기계 대화를 통해 적극적인 장기 안전 경고, 사각지대 알림, 운전자별 안전 권고를 가능하게 합니다.
• 프레임워크는 교통 관리 기관을 위한 실시간 사고 원인 분석 및 책임 평가를 지원합니다.

Figure 2: The V2X-perception architecture.