[论文解读] GeNet: A Multimodal LLM-Based Co-Pilot for Network Topology and Configuration

Beni Ifland, Elad Duani+10 more|arXiv (Cornell University)|Jul 11, 2024

Service-Oriented Architecture and Web Services被引用 4

一句话总结

GeNet 是一种基于多模态大语言模型（LLM）的协作式助手，通过解析网络拓扑图和自然语言意图，自动更新网络拓扑和设备配置，实现企业网络设计的自动化。其在配置新增组件方面达到 72% 的准确率，并表明精确的拓扑理解对于需要修改拓扑的意图至关重要。

ABSTRACT

Communication network engineering in enterprise environments is traditionally a complex, time-consuming, and error-prone manual process. Most research on network engineering automation has concentrated on configuration synthesis, often overlooking changes in the physical network topology. This paper introduces GeNet, a multimodal co-pilot for enterprise network engineers. GeNet is a novel framework that leverages a large language model (LLM) to streamline network design workflows. It uses visual and textual modalities to interpret and update network topologies and device configurations based on user intents. GeNet was evaluated on enterprise network scenarios adapted from Cisco certification exercises. Our results demonstrate GeNet's ability to interpret network topology images accurately, potentially reducing network engineers' efforts and accelerating network design processes in enterprise environments. Furthermore, we show the importance of precise topology understanding when handling intents that require modifications to the network's topology.

研究动机与目标

• 通过同时支持拓扑和配置更新，而非仅配置生成，弥合网络工程自动化中的空白。
• 使网络工程师能够使用自然语言指定高层次意图，GeNet 则通过解析视觉拓扑图来指导更新。
• 通过自动化基于意图的拓扑和配置更改，减少人工工作量并加速网络设计。
• 研究 LLM 温度设置对拓扑理解与意图实现准确率的影响。
• 证明准确的拓扑理解对于需要结构化网络变更的任务至关重要。

提出的方法

• GeNet 采用双模块流程：拓扑理解（TIU）和意图实现（II），前者处理视觉拓扑图，后者生成配置更新。
• 拓扑理解模块利用视觉-语言 LLM 从网络拓扑图中提取结构信息，实现上下文感知的解析。
• 意图实现模块利用 LLM 基于用户提供的自然语言意图生成设备配置和拓扑修改。
• 系统采用思维链提示策略，引导对拓扑和配置变更的推理，提升输出的一致性与正确性。
• 性能在 250 个源自思科认证练习的场景上进行评估，通过 S3-Z 分数和拓扑理解准确率衡量成功度。
• 通过温度超参数调优评估 LLM 创造性对输出可靠性的影晌，较低温度下表现更优。

实验结果

研究问题

• RQ1 多模态 LLM 在多大程度上能准确解析网络拓扑图，以支持基于意图的网络更新？
• RQ2 拓扑理解性能在多大程度上影响网络设计任务中意图实现的成功率？
• RQ3 LLM 温度设置对拓扑和配置更新的可靠性与准确率有何影响？
• RQ4 与仅配置更新相比，拓扑变更复杂度（如添加多个组件）对 LLM 性能的影响如何？
• RQ5 对于需要结构化网络修改的意图，精确的拓扑理解是否必不可少？

主要发现

• 在所有测试案例中，GeNet 成功配置了 79% 的预期网络组件，其中 92% 的重新配置任务正确完成。
• GeNet 在配置初始输入中未出现的新组件方面达到 72% 的准确率，表明从零开始生成配置存在挑战。
• 拓扑理解模块与拓扑场景中意图实现成功率呈显著正相关（r = 0.55），凸显其关键作用。
• 提高 LLM 温度参数显著降低意图实现性能，S3-Z 分数下降，表明网络任务中确定性输出至关重要。
• 与拓扑修改任务相比，配置更新任务对精确拓扑理解的依赖性较低，表现为拓扑理解与配置场景成功率之间存在微弱负相关（r = -0.21）。
• 结果证实，对于需要结构变更（如添加新交换机或重组网络段）的意图，准确的拓扑理解必不可少。