[论文解读] An Empirical Study of NetOps Capability of Pre-Trained Large Language Models

Yukai Miao, Yu Bai+11 more|arXiv (Cornell University)|Sep 11, 2023

Topic Modeling被引用 6

一句话总结

本文提出了 NetEval，一个包含 5,732 个专注于网络运维（NetOps）的多语言问题的基准，覆盖五个子领域，用于评估 26 个预训练大语言模型的网络运维能力。只有 GPT-4 达到了人类水平的表现，而开源模型如 LLaMA 2 展现出巨大潜力，凸显了当前大语言模型在专业网络任务中的局限性与未来潜力。

ABSTRACT

Nowadays, the versatile capabilities of Pre-trained Large Language Models (LLMs) have attracted much attention from the industry. However, some vertical domains are more interested in the in-domain capabilities of LLMs. For the Networks domain, we present NetEval, an evaluation set for measuring the comprehensive capabilities of LLMs in Network Operations (NetOps). NetEval is designed for evaluating the commonsense knowledge and inference ability in NetOps in a multi-lingual context. NetEval consists of 5,732 questions about NetOps, covering five different sub-domains of NetOps. With NetEval, we systematically evaluate the NetOps capability of 26 publicly available LLMs. The results show that only GPT-4 can achieve a performance competitive to humans. However, some open models like LLaMA 2 demonstrate significant potential.

研究动机与目标

• 建立一个全面的、多语言的评估基准，用于衡量预训练大语言模型的 NetOps 能力。
• 评估大语言模型在处理现实世界网络运维任务（如故障排除、配置和安全）方面的表现。
• 识别当前最先进大语言模型与人类专家在特定网络场景下的性能差距。
• 评估提示工程策略、指令微调和检索增强生成对 NetOps 推理的影响。
• 研究多语言性能差异，特别是英语与中文 NetOps 问题之间的差异。

提出的方法

• 构建了 NetEval，一个包含 5,732 个来自认证考试和技术资料的多语言 NetOps 问题的数据集，重点关注选择题、填空题和封闭式问答格式。
• 采用零样本提示和少样本提示，并结合基于规则的后处理，以标准化模型输出并提高评估可靠性。
• 对部分模型应用思维链（CoT）提示，以增强推理能力，尤其针对较小模型。
• 使用检索增强生成（RAG）技术，通过引入外部知识丰富上下文，提升零样本性能。
• 使用通用领域数据对 LLaMA-2 和 Falcon 模型进行指令微调（SFT），以评估其对 NetOps 表现的影响。
• 分别在英语和中文问题上评估模型性能，以分析多语言能力及预训练数据偏差的影响。

实验结果

研究问题

• RQ1 预训练大语言模型能否在真实网络运维任务中达到人类水平表现？
• RQ2 不同的提示策略（零样本、少样本、思维链、检索增强生成）如何影响大语言模型在 NetOps 任务中的表现？
• RQ3 使用通用领域数据进行指令微调是否能提升大语言模型在 NetOps 特定推理任务中的表现？
• RQ4 在 NetOps 场景中，模型性能在不同语言之间（尤其是英语与中文之间）如何变化？
• RQ5 哪些开源大语言模型在 NetOps 工作流中展现出最强的部署潜力？

主要发现

• 只有 GPT-4 在 NetEval 基准上达到了与人类专家相当的性能，表明当前大语言模型在 NetOps 领域仍存在显著能力差距。
• LLaMA-2 模型，尤其是 LLaMA-2-7B，展现出强大潜力，尽管是开源模型，其表现仍优于许多闭源模型。
• 思维链提示（CoT）使 LLaMA-7B 和 LLaMA-2-7B 的少样本准确率提升了 4–5%，表明 CoT 对小型模型更具有效性。
• 检索增强生成（RAG）持续提升了零样本性能，甚至在某些情况下超过了少样本结果，表明其在知识检索方面的价值。
• 经过指令微调的模型（如 LLaMA-2-Chat、Falcon-Instruct）表现不如其基础版本，可能是因为微调数据存在领域不匹配问题。
• 在双语（中文/英文）语料上预训练的模型（如 Baichuan 和 Moss）在中文问题上的准确率比在英文问题上高出 14–17%，表明这些特定模型具备强大的多语言能力。