[논문 리뷰] Language-Guided Traffic Simulation via Scene-Level Diffusion

Ziyuan Zhong, Davis Rempe외 6명|arXiv (Cornell University)|2023. 06. 10.

Traffic Prediction and Management Techniques인용 수 9

한 줄 요약

CTG++는 공간-시간 트랜스포머 백본을 갖춘 씬 수준 조건부 확산 모델을 도입하여 LLM이 생성한 미분가능 손실을 통해 언어로 가이드된 현실적이고 제어 가능한 교통 시뮬레이션을 제공합니다.

ABSTRACT

Realistic and controllable traffic simulation is a core capability that is necessary to accelerate autonomous vehicle (AV) development. However, current approaches for controlling learning-based traffic models require significant domain expertise and are difficult for practitioners to use. To remedy this, we present CTG++, a scene-level conditional diffusion model that can be guided by language instructions. Developing this requires tackling two challenges: the need for a realistic and controllable traffic model backbone, and an effective method to interface with a traffic model using language. To address these challenges, we first propose a scene-level diffusion model equipped with a spatio-temporal transformer backbone, which generates realistic and controllable traffic. We then harness a large language model (LLM) to convert a user's query into a loss function, guiding the diffusion model towards query-compliant generation. Through comprehensive evaluation, we demonstrate the effectiveness of our proposed method in generating realistic, query-compliant traffic simulations.

연구 동기 및 목표

• 씬 수준에서 다중 에이전트 상호 작용을 모델링하는 현실적이고 제어 가능한 교통 시뮬레이션 백본을 개발한다.
• 사용자 친화적인 언어 기반 제어를 교통 생성에 가능하게 한다.
• 자연어 지시를 LLM이 생성한 미분가능 손실을 통해 교통 행동으로 연결한다.
• 현실성, 안정성, 규칙 충족도 측면에서 제안된 모델을 기준 모델과 비교 평가한다.

제안 방법

• 씬 수준의 조건부 확산 모델을 제안하고, 공간-시간 트랜스포머 백본으로 구성되어 씬 내의 모든 에이전트를 공동으로 모델링한다.
• 궤적을 행동 및 상태 시퀀스로 표현하고 맥락에 조건화된 행동 궤적에 대해 확산을 수행한다.
• 에이전트 중심 좌표를 사용하고 교대하는 시간적, 공간적 및 맵 주의를 통해 다중 에이전트 상호 작용을 포착한다.
• 추론 중 확산 과정을 안내하는 미분가능 손실 함수를 생성하기 위해 언어 쿼리를 미분가능 손실로 변환하는 LLM을 도입한다.
• 손실의 기울기를 통해 확산 과정에 가이던스를 적용하여 쿼리-준수 궤적 생성을 달성한다.
• 다양하고 현실적인 거동을 학습하기 위해 실제 주행 데이터(nuScenes)로 학습한다.

실험 결과

연구 질문

• RQ1 씬 수준 확산 모델이 교통 궤적에서 현실적인 다중 에이전트 상호 작용을 포착할 수 있는가?
• RQ2 언어 가이드 손실 함수가 현실성과 안정성을 유지하면서 사용자가 지정한 규칙을 충족하도록 확산으로 생성된 트래픽을 유도할 수 있는가?
• RQ3 언어 기반의 씬 수준 접근 방식이 규칙 만족도와 상호 작용 현실성 면에서 에이전트 수준 모델보다 우수한가?
• RQ4 에이전트 중심 좌표와 공간 주의를 사용한 다중 에이전트 교통 시뮬레이션의 함의는 무엇인가?

주요 결과

• CTG++는 대부분의 GPT-생성 규칙 설정에서 baseline에 비해 충돌/도로 이탈과 같은 실패율이 더 낮게 나타난다.
• CTG++는 여러 STL 및 GPT 기반 규칙에서 안정성, 규칙 충족, 현실성 사이의 균형이 베이스라인보다 더 좋다.
• 공간-시간 트랜스포머와 에지-인식 주의를 갖춘 씬-레벨 모델은 상호 작용 모델링을 개선하고 비현실적인 궤적을 줄인다.
• LLM 기반 손실 가이던스는 각 규칙에 대해 맞춤 보상 설계 없이도 유연하고 자연어 제어를 가능하게 한다.
• 소거 실험은 에지 정보와 에이전트 중심 좌표가 현실성 유지 및 충돌 방지에 중요하다는 것을 보여준다.