[论文解读] Integration of Mixture of Experts and Multimodal Generative AI in Internet of Vehicles: A Survey

Minrui Xu, Dusit Niyato+7 more|arXiv (Cornell University)|Apr 25, 2024

Big Data Technologies and ApplicationsDecision Sciences被引用 3

一句话总结

本综述提出将专家混合模型（MoE）与多模态生成式人工智能（GAI）相结合，以在车联网（IoV）中实现通用人工智能（AGI），通过分布式的协作式人工智能实现自主决策。该方法利用参数高效、隐私保护且低碳的AI模型，增强认知功能，支持联网车辆间实时感知、仿真与规划。

ABSTRACT

Generative AI (GAI) can enhance the cognitive, reasoning, and planning capabilities of intelligent modules in the Internet of Vehicles (IoV) by synthesizing augmented datasets, completing sensor data, and making sequential decisions. In addition, the mixture of experts (MoE) can enable the distributed and collaborative execution of AI models without performance degradation between connected vehicles. In this survey, we explore the integration of MoE and GAI to enable Artificial General Intelligence in IoV, which can enable the realization of full autonomy for IoV with minimal human supervision and applicability in a wide range of mobility scenarios, including environment monitoring, traffic management, and autonomous driving. In particular, we present the fundamentals of GAI, MoE, and their interplay applications in IoV. Furthermore, we discuss the potential integration of MoE and GAI in IoV, including distributed perception and monitoring, collaborative decision-making and planning, and generative modeling and simulation. Finally, we present several potential research directions for facilitating the integration.

研究动机与目标

• 通过融合专家混合模型（MoE）与多模态生成式人工智能（GAI），提升认知与推理能力，实现在IoV中的全面自主。
• 通过MoE架构实现分布式协作式AI执行，应对IoV中的资源约束与高移动性挑战。
• 通过生成建模与数据增强，支持自动驾驶、交通管理与环境监测等高级IoV应用。
• 识别在隐私、能效与模型适应性方面对IoV中可扩展AGI部署的关键研究挑战。
• 提出未来研究方向，涵盖通信高效、参数高效及检索增强型MoE-GAI系统在动态车载网络中的应用。

提出的方法

• 利用专家混合模型（MoE）将AI模型参数划分为专业化专家网络，实现在车辆与路侧单元（RSUs）之间的高效分布式推理。
• 采用多模态GAI模型——如扩散模型、变分自编码器（VAEs）、生成对抗网络（GANs）与Transformer——处理并生成包括图像、文本与点云在内的多样化数据模态。
• 通过关键帧控制器与滑动窗口技术结合时间建模，确保自动驾驶中视频生成的跨帧一致性。
• 应用检索增强生成（RAG）技术，在生成过程中检索上下文准确的数据，以提升GAI输出的相关性，提高决策准确性。
• 利用联邦学习、同态加密与安全多方计算等隐私保护技术，实现在不暴露原始数据的前提下进行协作推理。
• 通过设计计算能耗低的AI模型，提出低碳多模态感知方案，在保持性能的同时最小化计算能耗。

实验结果

研究问题

• RQ1 如何协同设计MoE与多模态GAI，以实现在高移动性IoV环境中可扩展、分布式且协作式的AI？
• RQ2 在互联车辆之间执行协作推理时，确保隐私与数据安全的关键挑战是什么？
• RQ3 如何开发能效型AI模型，以支持IoV系统中可持续、低碳的多模态感知？
• RQ4 参数高效微调在不重新训练完整模型的前提下，如何提升本地专家在动态IoV场景中的适应性？
• RQ5 检索增强生成如何提升IoV应用（如交通预测与自主导航）中GAI输出的上下文准确性与实时相关性？

主要发现

• MoE与多模态GAI的融合可实现在IoV中可扩展的分布式AI执行，支持实时认知功能，且在高移动性条件下无性能退化。
• 采用联邦学习与同态加密的隐私保护协作推理，可在保护原始数据的同时实现车辆间的安全模型更新。
• 低碳多模态感知模型可显著降低IoV部署中的能耗，支持可持续发展目标与能效运营。
• 参数高效微调可实现预训练本地专家对新IoV场景的快速适应，且计算开销极低。
• 检索增强生成通过在生成过程中引入实时相关数据，显著提升GAI输出的上下文准确性，增强动态环境下的可靠性。
• MoE与GAI的融合为IoV中实现AGI提供了变革性路径，可支持无需人工干预的自主、智能与自适应交通系统。