[논문 리뷰] Towards Knowledge-driven Autonomous Driving

Xin Li, Yeqi Bai외 15명|arXiv (Cornell University)|2023. 12. 07.

Image Processing and 3D Reconstruction인용 수 11

한 줄 요약

이 논문은 지식 주도 자율주행을 조사하고, 데이터 주도 시스템의 한계를 주장하며 데이터셋/벤치마크, 환경, 운전자 에이전트로 구성된 프레임워크를 개요하며, LLMs, world models, neural rendering으로 인지, 일반화, 평생 학습을 달성한다는 프레임워크를 제시한다.

ABSTRACT

This paper explores the emerging knowledge-driven autonomous driving technologies. Our investigation highlights the limitations of current autonomous driving systems, in particular their sensitivity to data bias, difficulty in handling long-tail scenarios, and lack of interpretability. Conversely, knowledge-driven methods with the abilities of cognition, generalization and life-long learning emerge as a promising way to overcome these challenges. This paper delves into the essence of knowledge-driven autonomous driving and examines its core components: dataset \& benchmark, environment, and driver agent. By leveraging large language models, world models, neural rendering, and other advanced artificial intelligence techniques, these components collectively contribute to a more holistic, adaptive, and intelligent autonomous driving system. The paper systematically organizes and reviews previous research efforts in this area, and provides insights and guidance for future research and practical applications of autonomous driving. We will continually share the latest updates on cutting-edge developments in knowledge-driven autonomous driving along with the relevant valuable open-source resources at: \url{https://github.com/PJLab-ADG/awesome-knowledge-driven-AD}.

연구 동기 및 목표

• 데이터 주도 자율주행의 한계(데이터 바이어스, 롱테일, 해석 가능성 부족) 강조.
• 지식 주도 패러다임과 그 세 가지 핵심 구성요소: 데이터셋 & 벤치마크, 환경, 운전자 에이전트 정의.
• 기존 연구 동향 검토하고 LLMs와 world models 등 첨단 AI 기법을 활용한 지식 주도 솔루션 제안.
• 지식 주도 자율주행의 미래 연구와 응용을 위한 기회, 도전과 실용적 지침 논의.

제안 방법

• 지식 주도 자율주행 문헌에 대한 체계적 검토 제공.
• Dataset & Benchmark, Environment, Driver Agent의 세 가지 핵심 구성요소가 있는 프레임워크 제시.
• LLMs, world models, and neural rendering를 포함한 가능 기술 논의.
• 인지에서 인지로의 전환 및 계획·제어에 대한 시사점 분석.
• 오픈 소스 자원과 커뮤니티 주도 업데이트의 역할(GitHub 링크) 강조.

Figure 1: Comparison of three technical paradigms to autonomous driving. (1) The rule-based paradigm utilizes the understanding of driving scenarios that are summarized in the scenario semantic space to guide driving. (2) The data-based paradigm tends to model the driving scenarios into the represen

실험 결과

연구 질문

• RQ1 지식 주도 자율주행 시스템이 무엇으로 구성되는가?
• RQ2 데이터셋, 환경, 운전자 에이전트가 지식 주도 학습을 가능하게 만들도록 어떻게 설계될 수 있는가?
• RQ3 일반화 및 해석가능성 측면에서 데이터 주도 방법에 비해 지식 주도 주행이 어떤 이점을 제공하는가?
• RQ4 지식 주도 자율주행의 주요 도전과 잠재적 해결책은 무엇인가?

주요 결과

• 지식 주도 방식은 운전 표현에 인간의 지식과 일반 상식을 통합하여 다양한 도메인에서 일반화하는 것을 목표로 한다.
• LLMs 및 world models은 운전 시나리오에 대한 추론, 장면 이해, 미래 내용 예측을 가능하게 한다.
• Neural rendering은 폐쇄 루프 시뮬레이션을 통해 현실적이고 다양한 환경과 드문 코너 케이스를 지원한다.
• 종단 간(end-to-end) 설계와 모듈형 설계 사이의 트레이드오프가 존재하며, 지식 주도 접근은 해석 가능하고 지식에 기반한 출력을 추구한다.
• 이 논문은 지식 주도 자율주행의 진전을 촉진하는 오픈 소스 자원과 벤치마크를 가리킨다.

Figure 2: Comparison between the single-domain data-driven paradigm (left), cross-domain data-driven paradigm (center), and the knowledge-driven paradigm (right). The gray $\times$ in the driving scenario represents corner cases, while it transitions to green $\times$ , indicating that the method ca