[論文レビュー] Making Network Configuration Human Friendly

Changjie Wang, Mariano Scazzariello+3 more|arXiv (Cornell University)|Sep 12, 2023

Software System Performance and Reliability被引用数 10

ひとこと要約

要約: 本論文は NetBuddy を紹介する。NetBuddy は自然言語のネットワーク要件を低レベルの構成（P4 および BGP）へ翻訳する LLMベースのシステムであり、GPT-4 ベースの概念検証とランタイム BGP 修正シナリオを通じて実証されている。多段階生成パイプラインと正確性を向上させる検証機構を備える。

ABSTRACT

This paper explores opportunities to utilize Large Language Models (LLMs) to make network configuration human-friendly, simplifying the configuration of network devices and minimizing errors. We examine the effectiveness of these models in translating high-level policies and requirements (i.e., specified in natural language) into low-level network APIs, which requires understanding the hardware and protocols. More specifically, we propose NETBUDDY for generating network configurations from scratch and modifying them at runtime. NETBUDDY splits the generation of network configurations into fine-grained steps and relies on self-healing code-generation approaches to better take advantage of the full potential of LLMs. We first thoroughly examine the challenges of using these models to produce a fully functional & correct configuration, and then evaluate the feasibility of realizing NETBUDDY by building a proof-of-concept solution using GPT-4 to translate a set of high-level requirements into P4 and BGP configurations and run them using the Kathará network emulator.

研究の動機と目的

• Large Language Models がネットワーク設定タスクをどのように単純化・自動化できるかを動機づけ、評価する。
• 高レベル要件を低レベル構成へ翻訳する多段階の LLM ベース・パイプラインとして NetBuddy を提案する。
• 実際のネットワークで NetBuddy を実装する際の課題・制限・実現性を評価する。

提案手法

• 自然言語入力を正式な仕様へ翻訳する(1) の3段階パイプラインを提案する。
• 正式な仕様を高レベル構成へ変換する(2)。
• デバイス用の低レベル構成とコマンドを生成する(3)。
• 構文・コンパイル性・正確性を検証する検証機構を組み込み、LLM へフィードバックを提供する。
• GPT-4 を用いて P4 経路や BGP 関連構成を生成する概念実証を実演し、Kathará ネットワークエミュレータで検証する。
• マルチモーダル入力の活用可能性や、専有デバイス・プロトコルへの対応のためのファインチューニングやネットワーク固有情報の利用を検討する。
• モデルの挙動、バッチ処理戦略、モデル精度・要件の複雑さ・コストのトレードオフを分析する。
• MPLS ルーティングを P4 対応スイッチ上で行うケースやランタイム BGP ルータ修正のケースを紹介する。

実験結果

リサーチクエスチョン

• RQ1 最先端の LLM が高レベルの自然言語ネットワーク要件を正式な仕様へ、さらに正しい低レベル構成へ翻訳できるか。
• RQ2 多段階の NetBuddy パイプラインは自然言語要件から P4 および BGP 構成を生成するのに実現可能で効果的か。
• RQ3 LLM を用いたネットワーク構成での主な課題・制限・コスト/精度のトレードオフは何か。
• RQ4 検証とフィードバックループは LLM が生成したネットワーク構成の正確性と堅牢性をどのように向上させるか。

主な発見

• LLMs はファインチューニングなしで、自然言語要件から動作する P4 および BGP 構成を検証実証レベルで生成できる。
• 要件の複雑さとモデル精度・経済的コストとのトレードオフが存在する。
• 要件を 10 件ずつのようにバッチ化すると翻訳精度が向上し、1 要件あたりのコストが低減する。
• 要件内の明示的な矛盾は GPT-4 によって検出可能だが、追加ツールなしでは暗黙の対立は難しい。
• 検証機と反復フィードバックにより生成された構成の構文および機能的エラーを修正できる。
• 新しい要件が追加されても、ゼロから作成するのではなく既存の構成を再利用できるアプローチを実現できる。