[論文レビュー] Integration of Mixture of Experts and Multimodal Generative AI in Internet of Vehicles: A Survey

Minrui Xu, Dusit Niyato+7 more|arXiv (Cornell University)|Apr 25, 2024

Big Data Technologies and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本調査では、Mixture of Experts (MoE) とマルチモーダル生成型AI (GAI) を統合することで、インテリジェント・ビークル・ネットワーク（IoV）における人工一般知能（AGI）の実現を提案する。分散型で協調的なAIを活用し、自律的意思決定を可能にする。このアプローチにより、パラメータ効率的で、プライバシーを守り、低炭素なAIモデルが、接続された車両間でリアルタイムの認識、シミュレーション、計画を支援する認知機能が向上する。

ABSTRACT

Generative AI (GAI) can enhance the cognitive, reasoning, and planning capabilities of intelligent modules in the Internet of Vehicles (IoV) by synthesizing augmented datasets, completing sensor data, and making sequential decisions. In addition, the mixture of experts (MoE) can enable the distributed and collaborative execution of AI models without performance degradation between connected vehicles. In this survey, we explore the integration of MoE and GAI to enable Artificial General Intelligence in IoV, which can enable the realization of full autonomy for IoV with minimal human supervision and applicability in a wide range of mobility scenarios, including environment monitoring, traffic management, and autonomous driving. In particular, we present the fundamentals of GAI, MoE, and their interplay applications in IoV. Furthermore, we discuss the potential integration of MoE and GAI in IoV, including distributed perception and monitoring, collaborative decision-making and planning, and generative modeling and simulation. Finally, we present several potential research directions for facilitating the integration.

研究の動機と目的

• Mixture of Experts (MoE) とマルチモーダル生成型AI (GAI) を統合することで、認知能力と推論能力を強化し、IoVにおける完全な自律性を実現すること。
• MoEアーキテクチャを活用して、分散型で協調的なAI実行を可能にすることで、IoVにおけるリソース制約と高い移動性に対処すること。
• 生成モデルとデータ拡張を活用して、自動運転、交通管理、環境モニタリングなどの高度なIoVアプリケーションを支援すること。
• スケーラブルなAGIのIoVへの展開に向けた、プライバシー、エネルギー効率、モデルの適応性に関する重要な研究課題を特定すること。
• 動的で変化し続ける車両ネットワークにおける通信効率的で、パラメータ効率的で、リtrieval増強型のMoE-GAIシステムの今後の研究方向性を提案すること。

提案手法

• Mixture of Experts (MoE) を活用して、AIモデルのパラメータを専門的なエキスパートネットワークに分割し、車両およびRSU間で効率的かつ分散型の推論を実現する。
• 拡散モデル、VAE、GAN、トランスフォーマーなどのマルチモーダルGAIモデルを活用して、画像、テキスト、ポイントクラウドなどの多様なデータモダリティを処理・生成する。
• 時間的モデリングにキーフレームコントローラーとスライディングウィンドウ技術を統合し、自動運転の動画生成におけるフレーム間の一貫性を維持する。
• リtrieval増強生成（RAG）を適用して、生成中に文脈的に正確なデータを取得することで、GAI出力の関連性を向上させ、意思決定の正確性を向上させる。
• フェデレーテッドラーニング、同型暗号化、セキュアなマルチパーティ計算などのプライバシー保護技術を活用して、生データを暴露せずに協調的推論を実現する。
• 計算エネルギーの使用を最小限に抑えつつ性能を維持するエネルギー効率の良いAIモデルを設計することで、低炭素なマルチモーダル認識を実現する。

実験結果

リサーチクエスチョン

• RQ1 MoEとマルチモーダルGAIをどのように共同で設計することで、高移動性のIoV環境においてスケーラブルで分散型かつ協調的なAIを実現できるか？
• RQ2 相互接続された車両間で協調的推論を実施する際、プライバシーやデータセキュリティを確保する上で直面する主な課題は何か？
• RQ3 持続可能な低炭素なマルチモーダル認識を実現するため、エネルギー効率の良いAIモデルをどのように開発できるか？
• RQ4 フルモデルの再トレーニングなしに、パラメータ効率的ファインチューニングが、動的で変化するIoVシナリオにおけるローカルエキスパートの適応性をどのように向上できるか？
• RQ5 リtrieval増強生成が、交通予測や自律走行などのIoVアプリケーションにおいて、文脈的正確性とリアルタイムの関連性をどのように向上させられるか？

主な発見

• MoEとマルチモーダルGAIの統合により、IoVにおいてスケーラブルで分散型のAI実行が可能となり、高移動性下でもパフォーマンス劣化なしにリアルタイムの認知機能をサポートする。
• フェデレーテッドラーニングと同型暗号化を活用したプライバシー保護型協調的推論により、生データを保護しながら車両間で安全にモデル更新が可能となる。
• 低炭素なマルチモーダル認識モデルは、IoV展開におけるエネルギー消費を顕著に削減でき、持続可能性目標とエネルギー効率の良い運用を支援する。
• パラメータ効率的ファインチューニングにより、事前学習済みのローカルエキスパートを新しいIoVシナリオに迅速に適応可能にし、計算オーバーヘッドを最小限に抑える。
• リtrieval増強生成により、生成中にリアルタイムで関連性の高いデータを統合することで、GAI出力の文脈的正確性が向上し、変動しやすい環境での信頼性が向上する。
• MoEとGAIの統合は、人為的監視を最小限に抑え、自律的で知的かつ適応的な交通システムを実現するための画期的な道筋を提供する。