[논문 리뷰] Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses

Minrui Xu, Dusit Niyato외 6명|arXiv (Cornell University)|2023. 02. 16.

Traffic control and management인용 수 4

한 줄 요약

이 논문은 차량 혼합 현실 메타버스에서 자율주행을 위한 생성형 AI 기반 시뮬레이션 프레임워크를 제안하며, 디지털 트윈과 경매 기반 자원 할당을 활용해 다양한 조건을 갖춘 주행 데이터셋을 합성한다. 이 방법은 시뮬레이션의 효율성과 강건성을 향상시켜 기준 방법 대비 최대 150% 높은 사회적 잉여를 달성한다.

ABSTRACT

In the vehicular mixed reality (MR) Metaverse, the distance between physical and virtual entities can be overcome by fusing the physical and virtual environments with multi-dimensional communications in autonomous driving systems. Assisted by digital twin (DT) technologies, connected autonomous vehicles (AVs), roadside units (RSU), and virtual simulators can maintain the vehicular MR Metaverse via digital simulations for sharing data and making driving decisions collaboratively. However, large-scale traffic and driving simulation via realistic data collection and fusion from the physical world for online prediction and offline training in autonomous driving systems are difficult and costly. In this paper, we propose an autonomous driving architecture, where generative AI is leveraged to synthesize unlimited conditioned traffic and driving data in simulations for improving driving safety and traffic efficiency. First, we propose a multi-task DT offloading model for the reliable execution of heterogeneous DT tasks with different requirements at RSUs. Then, based on the preferences of AV's DTs and collected realistic data, virtual simulators can synthesize unlimited conditioned driving and traffic datasets to further improve robustness. Finally, we propose a multi-task enhanced auction-based mechanism to provide fine-grained incentives for RSUs in providing resources for autonomous driving. The property analysis and experimental results demonstrate that the proposed mechanism and architecture are strategy-proof and effective, respectively.

연구 동기 및 목표

• 자율주행차 훈련을 위한 대규모 실생활 주행 데이터 수집의 높은 비용과 확장성 한계를 해결하기 위해.
• 디지털 트윈(DT) 기술을 통해 물리적 및 가상 환경을 융합하여 차량 혼합 현실 메타버스에서의 협업 시뮬레이션을 가능하게 하기 위해.
• 생성형 AI를 활용해 다양한 조건부 제어가 가능한 교통 및 주행 데이터셋을 생성함으로써 주행 안전성과 교통 효율성을 향상시키기 위해.
• 도로변 단말기(RSUs) 간의 컴퓨팅 및 통신 자원을 공정하고 효율적으로 할당하기 위한 인센티브 메커니즘을 설계하기 위해.
• 분산형 시뮬레이션 환경에서 신뢰성과 효율성을 유지하기 위해 전략적 비용 증가 방지 및 악성 선택 저항성을 확보하기 위해.

제안 방법

• 다양한 컴퓨팅, 통신 및 마감 시간 요구 사항을 갖는 RSUs에서 이질적인 DT 작업(예: 시뮬레이션, 의사결정, 모니터링)을 관리하기 위한 다중 작업 디지털 트윈(DT) 오프로딩 모델을 제안한다.
• 실시간 조건과 사용자 선호도를 기반으로 제한 없이 고품질이며 조건에 맞는 주행 및 교통 데이터셋을 합성하기 위해 조건부 생성형 AI 모델(예: TSDreambooth)을 활용한다.
• 온라인 및 오프라인 하위시장을 모두 고려하여 비대칭 정보 문제를 해결하는 다중 작업 강화 경매 기반 메커니즘(MTEPViSA)을 도입하여 RSUs에 대한 세밀한 인센티브를 제공한다.
• AI 모델 성능 평가 및 우선순위 정하기를 위한 생성형 스코어를 사용하여, 후속 AV 훈련을 위한 합성 데이터의 정확도를 향상시킨다.
• 성질 분석을 통해 메커니즘이 전략적 비용 증가 방지 및 악성 선택 저항성을 확보함을 증명하며, 진정성 있는 입찰과 시스템 안정성을 보장한다.
• 실세계 데이터셋과 최적화된 모델을 활용한 실험적 검증을 통해 다양한 데이터 생성 선호도(예: 배경 수정, 재맥락화)에 따른 성능을 평가한다.

Figure 1: The MR Metaverse architecture of DT-assisted autonomous driving systems with traffic and driving simulations empowered by generative AI.

실험 결과

연구 질문

• RQ1 어떻게 생성형 AI를 효과적으로 활용하여 차량 메타버스에서 자율주행차 훈련을 위한 다양한 조건부 주행 및 교통 데이터셋을 합성할 수 있는가?
• RQ2 다양한 자원 및 마감 시간 제약 조건 하에서 자율주행차에서 도로변 단말기(RSUs)로 이질적인 디지털 트윈 작업을 오프로딩하기 위한 최적의 메커니즘은 무엇인가?
• RQ3 전략적 비용 증가 방지 및 악성 선택 저항성을 확보하면서도 공정하고 효율적으로 RSU 자원을 할당하기 위한 인센티브 메커니즘은 어떻게 설계할 수 있는가?
• RQ4 기존 AI 없이 진행되는 전통적 시뮬레이션 대비 생성형 AI 기반 시뮬레이션은 사회적 잉여와 시스템 효율성에 어느 정도 기여하는가?
• RQ5 다양한 생성 선호도(예: 재맥락화 대비 배경 수정)에 따라 합성 데이터의 품질은 어떻게 달라지며, 이는 후속 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 생성형 AI 기반 시뮬레이션 프레임워크는 생성형 AI 없이 진행되는 시뮬레이션 대비 최소 150% 높은 사회적 잉여를 달성한다.
• MTEPViSA 경매 메커니즘은 PViSA 기준 대비 잉여를 50% 이상 향상시키며, 특히 작업 수와 시장 규모가 증가할수록 성능 향상이 두드러진다.
• 검증 모델은 전체 합성 데이터셋에서 국소 상대 정확도 0.82를 기록했으며, 배경 수정 데이터셋에선 0.42, 재맥락화 데이터셋에선 0.85를 기록하여 데이터 유형에 따라 성능의 차이를 보였다.
• 메커니즘은 오프라인 하위시장의 비대칭 정보 문제를 효과적으로 해결하였으며, 이러한 시장 잠재 수익을 忽시하는 PViSA보다 뛰어난 성능을 보였다.
• 실험 결과는 시뮬레이션과 유사한 추세를 보였지만, 실세계 테스트에서 데이터 품질이 낮아 더 불균형한 분포를 보였으며, 이는 프레임워크의 강건성을 확인한다.
• 시스템은 합성 데이터셋이 자율주행차의 AI 모델 성능을 크게 향상시킨다는 점을 입증하였지만, 모든 데이터 생성 선호도에서 성능 향상이 균일하지는 않았다.

Figure 2: The screenshots of implemented driving simulation testbed [ 20 ] with synthetic traffic signs generated by the proposed generative diffusion model, named TSDreamBooth.