[论文解读] Wireless Multi-Agent Generative AI: From Connected Intelligence to Collective Intelligence

Hang Zou, Qiyang Zhao+3 more|arXiv (Cornell University)|Jul 6, 2023

FinTech, Crowdfunding, Digital Finance被引用 13

一句话总结

本文在无线网络中提出了一用于设备端的多智能体生成式AI的基础框架，分析计划、博弈论互动和语义通信以在边缘实现集体智能，并展示了一个使用设备端大型语言模型的网络能量节省的案例研究。

ABSTRACT

The convergence of generative large language models (LLMs), edge networks, and multi-agent systems represents a groundbreaking synergy that holds immense promise for future wireless generations, harnessing the power of collective intelligence and paving the way for self-governed networks where intelligent decision-making happens right at the edge. This article puts the stepping-stone for incorporating multi-agent generative artificial intelligence (AI) in wireless networks, and sets the scene for realizing on-device LLMs, where multi-agent LLMs are collaboratively planning and solving tasks to achieve a number of network goals. We further investigate the profound limitations of cloud-based LLMs, and explore multi-agent LLMs from a game theoretic perspective, where agents collaboratively solve tasks in competitive environments. Moreover, we establish the underpinnings for the architecture design of wireless multi-agent generative AI systems at the network level and the agent level, and we identify the wireless technologies that are envisioned to play a key role in enabling on-device LLM. To demonstrate the promising potentials of wireless multi-agent generative AI networks, we highlight the benefits that can be achieved when implementing wireless generative agents in intent-based networking, and we provide a case study to showcase how on-device LLMs can contribute to solving network intents in a collaborative fashion. We finally shed lights on potential challenges and sketch a research roadmap towards realizing the vision of wireless collective intelligence.

研究动机与目标

• 促进将生成式代理整合到无线网络中，以实现边缘基于集体智能。
• 识别为6G无线系统中的设备端LLMs所需的使能技术和架构。
• 探索多个LLM代理之间的规划、推理和博弈论互动。
• 强调语义通信作为在代理之间高效共享知识和任务的手段。
• 展示一个由多智能体LLMs引导的节能意图的案例研究，并讨论挑战与路线图。

提出的方法

• 描述一个架构，其中多个设备端LLM互动，将意图分解为边缘执行的一系列任务。
• 讨论用于实现系统-2级认知的规划与推理技术（思路链、自洽性和思维树）。
• 引入多智能体LLM博弈和强化学习以推导协作行为并降低智能体之间的通信成本。
• 倡导语义信息与通信以传递任务相关知识而非原始数据。
• 给出一个使用GPT-4在用户之间解决无线能耗博弈以实现网络级优化的案例研究。

Figure 1: Close-loop task planning, execution, optimization in wireless generative agents.

实验结果

研究问题

• RQ1 在不依赖云端LLMs的情况下，设备端LLMs 如何协同规划、推理和行动以实现网络级目标？
• RQ2 在无线生成式代理之间哪些架构和交互能够在网络边缘实现高效的集体智能？
• RQ3 规划、推理和多智能体强化学习在实现无线场景中的合作但具有竞争性的多智能体行为中扮演何种角色？
• RQ4 在多智能体无线网络中，语义通信如何在降低信息交换的同时保留对LLMs任务相关的知识？
• RQ5 在边缘网络中，电信领域LLMs的关键挑战（例如幻觉、资源约束、收敛性）及未来方向是什么？

主要发现

• 设备端多智能体LLMs可以协同规划并解决电信任务，以在闭环循环中实现网络目标（规划、执行、优化）。
• 博弈论与 MARL 提供了一种框架，用于建模代理之间的互动并在考虑个人 KPI 的同时学习协作策略。
• 语义通信可以传递任务相关知识，以减少数据交换并改善跨代理协作。
• 在四用户能耗场景中的案例研究表明，设备端LLMs可以在保持速率约束的同时实现节省功率目标，尽管随着代理数量增加，多智能体协调变得更困难。
• 本文确定了电信领域特定LLMs所需的组成部分，并强调幻觉、自我复制概念以及设备端LLMs的资源管理等挑战。

Figure 2: Wireless generative agent network and device architecture.