[論文レビュー] An Empirical Study of NetOps Capability of Pre-Trained Large Language Models

Yukai Miao, Yu Bai+11 more|arXiv (Cornell University)|Sep 11, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、5つのサブドメインにわたる5,732件のNetOps中心の質問から構成される多言語ベンチマークNetEvalを紹介し、26種類の事前学習済み大規模言語モデルのネットワーク運用能力を評価する。人間並みのパフォーマンスに達したのはGPT-4のみであり、オープンソースモデルのLLaMA 2は強力なポテンシャルを示しており、専門分野のネットワーキングタスクにおけるLLMの現在の限界と将来の可能性を浮き彫りにしている。

ABSTRACT

Nowadays, the versatile capabilities of Pre-trained Large Language Models (LLMs) have attracted much attention from the industry. However, some vertical domains are more interested in the in-domain capabilities of LLMs. For the Networks domain, we present NetEval, an evaluation set for measuring the comprehensive capabilities of LLMs in Network Operations (NetOps). NetEval is designed for evaluating the commonsense knowledge and inference ability in NetOps in a multi-lingual context. NetEval consists of 5,732 questions about NetOps, covering five different sub-domains of NetOps. With NetEval, we systematically evaluate the NetOps capability of 26 publicly available LLMs. The results show that only GPT-4 can achieve a performance competitive to humans. However, some open models like LLaMA 2 demonstrate significant potential.

研究の動機と目的

• 事前学習済み大規模言語モデルのNetOps能力を測定する包括的かつ多言語対応の評価ベンチマークを確立すること。
• LLMがトラブルシューティング、設定、セキュリティなどの実世界のネットワーク運用タスクをどれほど効果的に処理できるかを評価すること。
• 特定分野のネットワーキングシナリオにおいて、最先端のLLMと人間の専門家との間のパフォーマンスギャップを同定すること。
• プロンプティング戦略、インstructチューニング、リtrieval増強生成（RAG）がNetOps推論に与える影響を評価すること。
• 特に英語と中国語のNetOps質問における多言語パフォーマンスの差を調査すること。

提案手法

• 認定試験および技術資料から抽出した5,732件のNetOps質問を含む多言語データセットNetEvalを構築し、主に選択式、穴埋め式、閉形式QA形式に焦点を当てた。
• モデル出力を標準化し、評価の信頼性を向上させるために、ルールベースのポストプロセッシングを用いたゼロショットおよびFew-shotプロンプティングを採用した。
• 特に小規模モデルにおいて推論を向上させるために、チェーン・オブ・スコウ（CoT）プロンプティングを適用した。
• 外部知識を文脈に統合することで、ゼロショットパフォーマンスを向上させるためにリトリーブ・アテンダント・ジェネレーション（RAG）を用いた。
• 一般ドメインのデータを用いて、LLaMA-2およびFalconモデルのインstructチューニング（SFT）を実施し、NetOpsパフォーマンスへの影響を評価した。
• 多言語能力および事前学習データのバイアスを分析するために、英語および中国語の質問別にモデルパフォーマンスを別々に評価した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みLLMは、実世界のネットワーク運用タスクで人間並みのパフォーマンスを達成できるか？
• RQ2 ゼロショット、Few-shot、チェーン・オブ・スコウ、リトリーブ・アテンダント・ジェネレーションといった異なるプロンプティング戦略は、LLMのNetOpsタスクパフォーマンスにどのように影響するか？
• RQ3 一般ドメインのデータを用いたインstructチューニングは、NetOps固有の推論タスクにおけるLLMパフォーマンスを向上させるか？
• RQ4 NetOps文脈において、モデルパフォーマンスは言語（特に英語対中国語）によってどのように変化するか？
• RQ5 どのオープンソースLLMがNetOpsワークフローへの導入において最も強いポテンシャルを示しているか？

主な発見

• NetEvalベンチマークにおいて、人間専門家と同等のパフォーマンスに達したのはGPT-4のみであり、現段階のLLMがNetOpsにおいて大きな能力ギャップを示していることが示された。
• LLaMA-2モデル、特にLLaMA-2-7Bは、オープンソースでありながら多くのクローズドソースモデルを上回る強力なポテンシャルを示した。
• チェーン・オブ・スコウ（CoT）プロンプティングにより、LLaMA-7BおよびLLaMA-2-7BではFew-shot精度が4–5%向上した。これは、CoTが小規模モデルに対してより効果的である可能性を示唆している。
• リトリーブ・アテンダント・ジェネレーション（RAG）は、ゼロショットパフォーマンスを一貫して向上させ、一部のケースではFew-shot結果を上回った。これは、知識取得にRAGが有効であることを示している。
• インstructチューニング済みモデル（例：LLaMA-2-Chat、Falcon-Instruct）は、ベースモデルに比べてパフォーマンスが低かった。これは、微調整データにドメインの不一致がある可能性があるためである。
• 中国語／英語の両言語コーパスで事前学習されたモデル（例：Baichuan、Moss）は、中国語の質問に対して英語の質問よりも14–17%高い正確性を示した。これは、特定のモデルにおける強力な多言語能力を示している。