[論文レビュー] Generative AI-empowered Simulation for Autonomous Driving in Vehicular Mixed Reality Metaverses

Minrui Xu, Dusit Niyato+6 more|arXiv (Cornell University)|Feb 16, 2023

Traffic control and management被引用数 4

ひとこと要約

本論文は、デジタルツインとオークションベースのリソース割り当てを活用して、多様で条件付きのドライブデータセットを合成する、自律走行のための生成AI駆動型シミュレーションフレームワークを提案する。このアプローチにより、シミュレーションの効率性と耐障害性が向上し、ベースライン手法と比較して最大150%高いソーシャルサプライを達成する。

ABSTRACT

In the vehicular mixed reality (MR) Metaverse, the distance between physical and virtual entities can be overcome by fusing the physical and virtual environments with multi-dimensional communications in autonomous driving systems. Assisted by digital twin (DT) technologies, connected autonomous vehicles (AVs), roadside units (RSU), and virtual simulators can maintain the vehicular MR Metaverse via digital simulations for sharing data and making driving decisions collaboratively. However, large-scale traffic and driving simulation via realistic data collection and fusion from the physical world for online prediction and offline training in autonomous driving systems are difficult and costly. In this paper, we propose an autonomous driving architecture, where generative AI is leveraged to synthesize unlimited conditioned traffic and driving data in simulations for improving driving safety and traffic efficiency. First, we propose a multi-task DT offloading model for the reliable execution of heterogeneous DT tasks with different requirements at RSUs. Then, based on the preferences of AV's DTs and collected realistic data, virtual simulators can synthesize unlimited conditioned driving and traffic datasets to further improve robustness. Finally, we propose a multi-task enhanced auction-based mechanism to provide fine-grained incentives for RSUs in providing resources for autonomous driving. The property analysis and experimental results demonstrate that the proposed mechanism and architecture are strategy-proof and effective, respectively.

研究の動機と目的

• 自律走行車両の学習に必要な大規模な実世界ドライブデータの収集における高コストおよびスケーラビリティの制限を解消する。
• デジタルツイン（DT）技術を用いて物理的・仮想的環境を統合することで、自動車メタバースにおける協調的シミュレーションを可能にする。
• 生成AIを用いて多様で条件付き制御可能な交通およびドライブデータセットを生成することで、ドライブの安全性と交通効率を向上させる。
• 道路沿いユニット（RSU）間で計算および通信リソースを公平かつ効率的に割り当てるインcentiveメカニズムを設計する。
• 分散型シミュレーション環境における信頼性と効率性を維持するため、戦略的行動の不正利用および悪質選択の抵抗性を確保する。

提案手法

• RSUにおける計算、通信、締切要件の違いに基づき、シミュレーション、意思決定、監視などの異種DTタスクを管理するマルチタスクデジタルツイン（DT）オフロードモデルを提案する。
• リアルタイムの状態とユーザーの好みに基づき、無制限で高品質かつ条件付きのドライブおよび交通データセットを合成するため、条件付き生成AIモデル（例：TSDreambooth）を採用する。
• オンラインおよびオフラインサブマーケットの両方を考慮することで、非対称情報に対処する、マルチタスク強化型オークションベースメカニズム（MTEPViSA）を導入する。
• 生成されたデータの精度を向上させるために、AIモデルのパフォーマンスを評価・優先順位付けするための生成スコアを用いる。
• 特性分析を用いて、メカニズムが戦略的行動の不正利用を回避し、悪質選択に対しても耐性があることを証明する。これにより、真実の入札とシステムの安定性が保証される。
• 実世界のデータセットとファインチューニング済みモデルを用いた実験的検証により、異なるデータ生成の好み（例：背景変更、再文脈化）におけるパフォーマンスを評価する。

Figure 1: The MR Metaverse architecture of DT-assisted autonomous driving systems with traffic and driving simulations empowered by generative AI.

実験結果

リサーチクエスチョン

• RQ1 生成AIをどのように効果的に活用して、自動車メタバースにおける自律走行車両の学習に適した多様で条件付きのドライブおよび交通データセットを合成できるか？
• RQ2 異なるリソースおよび締切制約下で、自律走行車両の異種デジタルツインタスクを道路沿いユニット（RSU）にオフロードする最適なメカニズムは何か？
• RQ3 戦略的行動の不正利用および悪質選択に対する抵抗性を確保しつつ、公平かつ効率的にRSUリソースを割り当てるインcentiveメカニズムをどのように設計できるか？
• RQ4 生成AIを活用したシミュレーションは、AIを用いない従来のシミュレーションと比較して、ソーシャルサプライとシステム効率をどの程度向上させるか？
• RQ5 異なる生成の好み（例：再文脈化対比背景変更）における合成データの品質はどのように変化し、それが下流のモデルパフォーマンスにどのような影響を与えるか？

主な発見

• 提案された生成AI駆動型シミュレーションフレームワークは、生成AIを用いないシミュレーションと比較して、少なくとも150%高いソーシャルサプライを達成する。
• MTEPViSAオークションメカニズムは、PViSAベースラインと比較して、タスク数および市場規模が増加するにつれて、サプライを50%以上向上させる。
• バリデーションモデルは、全生成データセットでは0.82のローカル相対精度、背景変更データセットでは0.42、再文脈化データセットでは0.85を達成しており、データタイプに応じたパフォーマンスの差が示されている。
• メカニズムはオフラインサブマーケットにおける非対称情報に対処できており、PViSA（このような市場における潜在的サプライを無視）よりも優れた性能を示している。
• 実験結果は、シミュレーションと同様の傾向を示しているが、実世界のテストではデータ品質が低いため、より不均一な分布を示しており、フレームワークの耐障害性を確認している。
• システムは、合成データセットが自律走行車両のAIモデルパフォーマンスを顕著に向上させることを示しているが、すべてのデータ生成好みにおいて均一な改善が得られるわけではない。

Figure 2: The screenshots of implemented driving simulation testbed [ 20 ] with synthetic traffic signs generated by the proposed generative diffusion model, named TSDreamBooth.