[논문 리뷰] DME-Driver: Integrating Human Decision Logic and 3D Scene Perception in Autonomous Driving

Wencheng Han, Dongqian Guo외 2명|arXiv (Cornell University)|2024. 01. 08.

Advanced Neural Network Applications인용 수 4

한 줄 요약

DME-Driver는 해석 가능성과 제어 정확도를 향상시키기 위해 논리 기반 의사결정자로 대규모 시각언어모델(LVLM)을 통합하고 계획 중심의 인식 모델을 실행자로 사용하는 혁신적인 자율주행 시스템을 제안한다. 인간 운전사의 행동 논리와 정밀한 3D 환경 인식을 활용함으로써, 전체 의사결정 추적 가능성을 확보한 채 상태최고 수준의 계획 정확도(L2: 0.98m)를 달성한다.

ABSTRACT

In the field of autonomous driving, two important features of autonomous driving car systems are the explainability of decision logic and the accuracy of environmental perception. This paper introduces DME-Driver, a new autonomous driving system that enhances the performance and reliability of autonomous driving system. DME-Driver utilizes a powerful vision language model as the decision-maker and a planning-oriented perception model as the control signal generator. To ensure explainable and reliable driving decisions, the logical decision-maker is constructed based on a large vision language model. This model follows the logic employed by experienced human drivers and makes decisions in a similar manner. On the other hand, the generation of accurate control signals relies on precise and detailed environmental perception, which is where 3D scene perception models excel. Therefore, a planning oriented perception model is employed as the signal generator. It translates the logical decisions made by the decision-maker into accurate control signals for the self-driving cars. To effectively train the proposed model, a new dataset for autonomous driving was created. This dataset encompasses a diverse range of human driver behaviors and their underlying motivations. By leveraging this dataset, our model achieves high-precision planning accuracy through a logical thinking process.

연구 동기 및 목표

• 종합 계획 기반 자율주행 시스템에서의 해석 가능성 부족 문제를 해결하기 위해.
• 결정 피드백를 통한 인식 작업 최적화가 이루어지지 않는 LLM 기반 시스템의 한계를 극복하기 위해.
• 인간 수준의 의사결정 논리를 고정밀 3D 환경 인식과 융합하여 신뢰할 수 있는 자율주행을 구현하기 위해.
• 학습을 위한 인간 운전사 행동, 시선, 의사결정 논리를 촬영한 새로운 데이터셋(HBD)을 개발하기 위해.
• 자율주행 차량에서 추적 가능하고 책임감 있고 인간과 일치하는 의사결정을 가능하게 하기 위해.

제안 방법

• 의사결정자는 실제 주행 데이터를 기반으로 이mitation learning을 통해 훈련된 대규모 시각언어모델(LVLM)로, 인간 운전사의 논리와 추론 방식을 모방한다.
• 실행자는 고수준의 의사결정을 정밀한 차량 제어 신호로 변환하는 계획 중심의 인식 모델이다.
• 이 시스템은 이중 단계 아키텍처를 사용한다: 의사결정자는 주행 상황을 분석하고 논리적 지시를 생성하고, 실행자는 이러한 지시에 기반해 제어 신호를 생성한다.
• 의사결정자와 실행자 간의 일관성 손실을 적용하여 출력을 정렬하고 의사결정의 신뢰성을 향상시킨다.
• HBD 데이터셋을 도입하여 다양한 인간 운전사 행동, 시선 데이터, 의사결정 논리를 포함하여 훈련 및 평가에 활용한다.
• LVLM 기반 의사결정자의 추론 과정을 로깅함으로써 의사결정의 완전한 추적 가능성을 보장한다.

Figure 1: Comparative Structures in Autonomous Driving Systems: (a) depicts an planning-oriented autonomous driving system that optimizes for overall performance using planning results, but lacks interpretability; (b) shows an LLM-based autonomous driving system capable of producing reasonable contr

실험 결과

연구 질문

• RQ1 LVLM 기반 의사결정자가 복잡한 주행 상황에서 인간 운전사 논리를 효과적으로 모방할 수 있는가?
• RQ2 논리적 의사결정 출력에 의해 안내될 때 계획 중심의 인식 모델이 정확한 제어 신호를 생성할 수 있는가?
• RQ3 인간의 의사결정 논리와 고정밀 3D 환경 인식을 융합하면 전체 계획 정확도와 시스템 신뢰성이 향상되는가?
• RQ4 자율주행에서 최고 수준의 성능을 달성하면서도 해석 가능성을 유지할 수 있는가?
• RQ5 의사결정자와 실행자 간의 일관성 손실 메커니즘이 의사결정 일치성과 시스템 내구성에 어떻게 기여하는가?

주요 결과

• DME-Driver는 L2 오차 0.98m의 계획 정확도를 달성하여 UniAD(1.03m)와 ST-P3(2.11m)와 같은 이전 방법들을 능가한다.
• 시스템은 뛰어난 논리 이해 능력을 보이며, 논리 벤치마크에서 80.3점의 점수를 기록하여 LLaVA-13B(48.2)와 GPT-4V(65.4)보다 유의미하게 높다.
• 제거 실험 결과에 따르면 의사결정자와 실행자가 모두 필수적임을 확인하였으며, 전체 시스템은 기준 실행자 전용 설정 대비 L2 오차를 0.05m 감소시켰다.
• 정답 언어 캐릭터스(GT+Executor)를 통합하면 성능이 약간 향상되어 정확한 의사결정 지시의 가치를 입증한다.
• 일관성 손실 메커니즘은 L2 오차를 약간 증가시켜(0.98m 대비 0.96m) 하지만 의사결정과 실행 간의 일치성을 크게 향상시켜 신뢰성을 강화한다.
• HBD 데이터셋은 모델이 다양한 인간 행동, 시선 패턴, 의사결정 근거를 학습할 수 있도록 지원하여 설명 가능하고 인간과 일치하는 주행 의사결정을 가능하게 한다.

Figure 2: HBD Dataset Annotation Pipeline: There are four key steps in our dataset creation - Data Collection, Prompt Design, Manual Corrections, and Dialogue Generation, streamlining the process from raw data gathering to structured dialogue formation.