[논문 리뷰] Integration of Mixture of Experts and Multimodal Generative AI in Internet of Vehicles: A Survey

Minrui Xu, Dusit Niyato외 7명|arXiv (Cornell University)|2024. 04. 25.

Big Data Technologies and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 종합 검토에서는 모수 효율적이고 프라이버시를 보장하며 저탄소인 AI 모델을 통해 실시간 인식, 시뮬레이션 및 계획 기능을 지원하는 분산형이고 협업 기반의 AI를 활용하여, 인터넷 오브 차이스(IlV)에서 인공통합지능(AGI)을 실현하기 위해 믹스처 오브 익스퍼트(MoE)와 다중모odal 생성형 AI(GAI)를 통합하는 것을 제안한다. 이 접근법은 연결된 차량 간에 실시간 인식, 시뮬레이션 및 계획 기능을 지원하는 데 기여하는 파arameter 효율적이고 프라이버시를 보장하며 저탄소인 AI 모델을 통해 인지 기능을 향상시킨다.

ABSTRACT

Generative AI (GAI) can enhance the cognitive, reasoning, and planning capabilities of intelligent modules in the Internet of Vehicles (IoV) by synthesizing augmented datasets, completing sensor data, and making sequential decisions. In addition, the mixture of experts (MoE) can enable the distributed and collaborative execution of AI models without performance degradation between connected vehicles. In this survey, we explore the integration of MoE and GAI to enable Artificial General Intelligence in IoV, which can enable the realization of full autonomy for IoV with minimal human supervision and applicability in a wide range of mobility scenarios, including environment monitoring, traffic management, and autonomous driving. In particular, we present the fundamentals of GAI, MoE, and their interplay applications in IoV. Furthermore, we discuss the potential integration of MoE and GAI in IoV, including distributed perception and monitoring, collaborative decision-making and planning, and generative modeling and simulation. Finally, we present several potential research directions for facilitating the integration.

연구 동기 및 목표

• 더 높은 인지 및 추론 능력을 확보하기 위해 믹스처 오브 익스퍼트(MoE)와 다중모달 생성형 AI(GAI)를 융합하여 IoV에서의 완전한 자율성을 실현하기 위해.
• MoE 아키텍처를 통해 분산형이고 협업 기반의 AI 실행을 가능하게 함으로써 IoV의 자원 제약과 높은 이동성을 해결하기 위해.
• 생성 모델링과 데이터 증강을 통해 자율 주행, 교통 관리 및 환경 모니터링와 같은 고도의 IoV 응용 분야를 지원하기 위해.
• 확장 가능한 AGI 도입을 위한 프라이버시, 에너지 효율성, 모델 적응성 분야의 핵심 연구 과제를 규명하기 위해.
• 동적인 차량 네트워크에서 통신 효율적이고 파라미터 효율적이며 검색 기반 증강된 MoE-GAI 시스템을 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 모델 파라미터를 전문화된 전문가 네트워크로 분할하는 데 믹스처 오브 익스퍼트(MoE)를 활용하여 차량 및 RSU 간에 효율적이고 분산된 추론을 가능하게 한다.
• 확산 모델, VAE, GAN, 트랜스포머와 같은 다중모달 GAI 모델을 활용하여 이미지, 텍스트, 포인트 클라우드와 같은 다양한 데이터 모odal을 처리하고 생성한다.
• 비디오 생성의 프레임 간 일관성을 유지하기 위해 시간적 모델링과 핵심 프레임 제어기 및 슬라이딩 윈도우 기법을 통합한다.
• 생성 중에 맥락적으로 정확한 데이터를 검색함으로써 GAI 출력의 관련성을 향상시키기 위해 검색 기반 증강 생성(RAG)을 적용한다. 이는 의사결정 정확도를 향상시킨다.
• 연합 학습, 동형 암호화, 안전한 다자간 계산과 같은 프라이버시 보존 기법을 활용하여 원시 데이터를暴露하지 않고도 협업 기반 추론을 수행한다.
• 에너지 효율적인 AI 모델을 설계하여 계산 에너지 소비를 최소화하면서도 성능을 유지함으로써 저탄소 다중모달 인식을 실현한다.

실험 결과

연구 질문

• RQ1 고속 이동성의 IoV 환경에서 확장 가능하고 분산형이며 협업 기반의 AI를 실현하기 위해 MoE와 다중모달 GAI를 어떻게 공동 설계할 수 있는가?
• RQ2 상호 연결된 차량 간에 협업 기반 추론을 수행할 경우 프라이버시와 데이터 보안을 확보하기 위한 주요 과제는 무엇인가?
• RQ3 지속 가능한 저탄소 다중모달 인식을 지원하기 위해 에너지 효율적인 AI 모델을 어떻게 개발할 수 있는가?
• RQ4 전체 모델 재학습 없이도 지역 전문가의 적응성을 향상시키기 위해 파라미터 효율적 파인튜닝은 어떤 방식으로 활용될 수 있는가?
• RQ5 교통 예측 및 자율 주행과 같은 IoV 응용 분야에서 검색 기반 증강 생성이 맥락 정확성과 실시간 관련성을 어떻게 향상시킬 수 있는가?

주요 결과

• MoE와 다중모달 GAI의 통합은 고속 이동성 환경에서 확장 가능하고 분산된 AI 실행을 가능하게 하며, 성능 저하 없이 실시간 인지 기능을 지원한다.
• 연합 학습과 동형 암호화를 활용한 프라이버시 보존 협업 기반 추론은 원시 데이터를 보호하면서도 차량 간에 안전한 모델 업데이트를 가능하게 한다.
• 저탄소 다중모달 인식 모델은 IoV 구현에서 에너지 소비를 크게 줄여 지속 가능성 목표 및 에너지 효율적 운영을 지원한다.
• 파라미터 효율적 파인튜닝은 전체 모델 재학습 없이도 사전 훈련된 지역 전문가를 새로운 IoV 환경에 신속하게 적응시킬 수 있으며, 계산 오버헤드를 최소화한다.
• 검색 기반 증강 생성은 생성 중에 실시간으로 관련 데이터를 통합함으로써 GAI 출력의 맥락 정확성을 향상시켜 동적인 환경에서의 신뢰성을 높인다.
• MoE와 GAI의 융합은 인간의 간섭 최소화를 가능하게 하는 자율적이고 지능적이며 적응 가능한 교통 시스템을 실현하기 위한 전환적 길을 제시한다.