[논문 리뷰] LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning

S P Sharan, Francesco Pittaluga외 2명|arXiv (Cornell University)|2023. 12. 30.

Natural Language Processing Techniques인용 수 6

한 줄 요약

LLM-Assist는 자율주행에서 복잡하고 높은 불확실성의 시나리오에서 성능을 햖스키기 위해 규칙 기반 플래너(PDM-Closed)에 동적으로 대규모 언어 모델(Large Language Models, LLMs)을 호출하는 하이브리드 플래닝 프레임워크를 제안한다. 계산된 플래너 출력에 기반해 LLMs가 플래닝 파라미터를 생성하거나 개선함으로써, 루프 내 반응형 및 비반응형 환경에서 nuPlan 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Although planning is a crucial component of the autonomous driving stack, researchers have yet to develop robust planning algorithms that are capable of safely handling the diverse range of possible driving scenarios. Learning-based planners suffer from overfitting and poor long-tail performance. On the other hand, rule-based planners generalize well, but might fail to handle scenarios that require complex driving maneuvers. To address these limitations, we investigate the possibility of leveraging the common-sense reasoning capabilities of Large Language Models (LLMs) such as GPT4 and Llama2 to generate plans for self-driving vehicles. In particular, we develop a novel hybrid planner that leverages a conventional rule-based planner in conjunction with an LLM-based planner. Guided by commonsense reasoning abilities of LLMs, our approach navigates complex scenarios which existing planners struggle with, produces well-reasoned outputs while also remaining grounded through working alongside the rule-based approach. Through extensive evaluation on the nuPlan benchmark, we achieve state-of-the-art performance, outperforming all existing pure learning- and rule-based methods across most metrics. Our code will be available at https://llmassist.github.io.

연구 동기 및 목표

• 다양하고 복잡한 주행 시나리오를 다루는 데에 있어 순수 학습 기반 및 규칙 기반 플래너의 한계를 해결하기 위해.
• LLMs가 루프 내 자율주행에서 일반 지식 추론을 통해 플래닝의 견고성을 향상시킬 수 있는지 조사하기 위해.
• 기본 플래너의 신뢰도가 낮을 때에만 LLM을 선택적으로 활용하는 하이브리드 시스템을 개발하여 안전성과 효율성을 확보하기 위해.
• 물리적 플래너 파라미터에 기반한 해석 가능하고 추론 기반의 플래닝 결정을 생성하기 위해.
• LLMs가 기존의 규칙 기반 플래너를 대체하지 않고도 벤치마크 평가에서 뛰어난 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 기본 플래너의 출력 점수(예: 충돌 위험, 편안함)가 사전 정의된 임계값 이하일 경우, 점수 기반 트리거 메커니즘이 LLM을 활성화한다.
• 제약 없는 LLM 플래너는 직접적으로 자연어로 된 장면 기술에서 2차원 궤적 좌표를 생성하며, 플래너 파라미터의 직접 제어를 회피한다.
• 파라미터 제어 모드는 LLM이 기본 플래너에 의미 있는 플래닝 파라미터(예: 목표 속도, 차선 중심선에서의 오프셋)를 출력할 수 있도록 하여 물리적 기반을 확보한다.
• 시스템은 인식 및 예측 모듈에서 유도된 구조화된 장면 기술을 처리하여 맥락 인식 추론을 가능하게 한다.
• LLM 추론에는 GPT-3와 GPT-4를 사용하며, 최적 성능을 위해 온도 초모델 하이퍼파rameter를 조정한다.
• 오픈소스 Llama2-7B 모델도 평가되었지만, 미세조정 없이 일관된 출력 형식을 생성하지 못해 부적합하다고 판단되었다.

실험 결과

연구 질문

• RQ1 복잡하고 낮은 빈도의 시나리오에서 일반 지식 추론을 제공함으로써 LLMs가 자율주행 플래닝 성능을 향상시킬 수 있는가?
• RQ2 기존 규칙 기반 플래너와 LLMs를 통합하여 실시간 성능을 훼손하지 않으면서도 안전성, 효율성, 편안함을 향상시킬 수 있는 방법은 무엇인가?
• RQ3 LLM 참여를 최적화하기 위한 전략은 무엇인가? 플래너의 신뢰도 점수 기반인지, 직접 궤적 생성 기반인지?
• RQ4 다양한 LLM 아키텍처(GPT-3 대비 GPT-4 등)와 하이퍼파라미터(예: 온도 등)가 플래닝 결과에 어떤 영향을 미치는가?
• RQ5 미세조정 없이도 Llama2와 같은 오픈소스 LLMs가 이 하이브리드 플래닝 프레임워크에서 효과적으로 사용될 수 있는가?

주요 결과

• LLM-Assist는 루프 내 반응형 및 비반응형 환경에서 모두 nuPlan 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하여, 이전의 모든 학습 기반 및 규칙 기반 방법을 능가했다.
• LLM-Assist의 파라미터 제어 모드는 특히 기본 플래너가 실패하거나 최적의 결과를 내지 못하는 시나리오에서 안전성 및 편안함 지표를 크게 향상시켰다.
• GPT-3는 온도 1.4에서 가장 우수한 성능을 보였으며, 이는 제약 없는 설정에서 생성 다양성이 증가함에 따라 플래닝 결과가 향상되었음을 시사한다.
• 제약 없는 플래닝에서는 GPT-4가 GPT-3보다 略적으로 성능이 뛰어났지만, 제약 있는 파라미터 제어 설정에서는 GPT-3가 略적으로 더 우수한 성능을 보였다.
• Llama2-7B는 미세조정 없이도 일관되고 형식에 맞는 출력을 생성하지 못해 작업에 부적합하다고 판단되었다. 인라인 예시가 제공된 경우조차도 동일한 문제 발생.
• 정성적 분석을 통해 LLM-Assist는 밀도 높은 교통 상황에서의 차선 변경과 같은 복잡한 조작에 대해 잘 근거가 있는, 해석 가능한 계획을 생성할 수 있었으며, 이는 기본 플래너가 효과적으로 처리하지 못하는 영역임을 확인했다.