[論文レビュー] GeNet: A Multimodal LLM-Based Co-Pilot for Network Topology and Configuration

Beni Ifland, Elad Duani+10 more|arXiv (Cornell University)|Jul 11, 2024

Service-Oriented Architecture and Web Services被引用数 4

ひとこと要約

GeNetは、ネットワークトポロジー図と自然言語による意図を解釈することで、ネットワークトポロジーとデバイス設定の両方を自動で更新するマルチモーダル大規模言語モデル（LLM）ベースのコ・ピLOTです。新規に追加されたコンponentsの設定において72%の正確性を達成し、トポロジー理解の正確さがトポロジー変更を伴う意図に対して極めて重要であることを示しています。

ABSTRACT

Communication network engineering in enterprise environments is traditionally a complex, time-consuming, and error-prone manual process. Most research on network engineering automation has concentrated on configuration synthesis, often overlooking changes in the physical network topology. This paper introduces GeNet, a multimodal co-pilot for enterprise network engineers. GeNet is a novel framework that leverages a large language model (LLM) to streamline network design workflows. It uses visual and textual modalities to interpret and update network topologies and device configurations based on user intents. GeNet was evaluated on enterprise network scenarios adapted from Cisco certification exercises. Our results demonstrate GeNet's ability to interpret network topology images accurately, potentially reducing network engineers' efforts and accelerating network design processes in enterprise environments. Furthermore, we show the importance of precise topology understanding when handling intents that require modifications to the network's topology.

研究の動機と目的

• トポロジーと設定の両方の更新をサポートするのではなく、単に設定の合成にとどまることの多いネットワーク設計自動化のギャップを埋める。
• ネットワークエンジニアが自然言語で高水準な意図を指定できるようにし、GeNetが視覚的トポロジーダイアグラムを解釈して更新をガイドする。
• 意図駆動のトポロジーと設定変更を自動化することで、人的作業を削減し、ネットワーク設計のスピードを向上させる。
• LLMの温度設定がトポロジー理解と意図達成の正確性に与える影響を調査する。
• 構造的ネットワーク変更を要するタスクにおいて、正確なトポロジー解釈が不可欠であることを実証する。

提案手法

• GeNetは、トポロジー理解（TIU）と意図実装（II）の2モジュールからなるパイプラインを採用しており、前者が視覚的トポロジーダイアグラムを処理し、後者が設定の更新を生成する。
• トポロジー理解モジュールは、ビジョン・ランゲージLLMを用いてネットワークトポロジーダイアグラムから構造的情報を抽出し、文脈に即した解釈を可能にする。
• 意図実装は、ユーザーが提供する自然言語の意図に基づき、LLMを活用してデバイス設定とトポロジー変更を生成する。
• 一連の思考を誘導するプロンプト戦略を用いて、トポロジーと設定の変更に関する推論をガイドし、一貫性と正確性を向上させる。
• 性能評価は、シスコ資格試験の250のシナリオを改変して実施され、成功度はS3-Zスコアとトポロジー理解の正確性で測定された。
• LLMの創造性に影響を与える温度ハイパーパrameterのチューニングを実施し、出力の信頼性に与える影響を評価した。低い温度設定がより良好な結果をもたらした。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルLLMは、意図駆動のネットワークトポロジー更新を支援するために、どれほど正確にネットワークトポロジーダイアグラムを解釈できるか？
• RQ2 トポロジー理解のパフォーマンスは、ネットワーク設計タスクにおける意図実装の成功にどのように影響するか？
• RQ3 LLMの温度設定は、トポロジーや設定の更新の信頼性と正確性にどのような影響を与えるか？
• RQ4 複数のコンponentを追加するようなトポロジー変更の複雑さは、設定のみの更新と比較してLLMのパフォーマンスにどのように影響するか？
• RQ5 構造的ネットワークトポロジー変更を要する意図の達成には、正確なトポロジー理解が不可欠であるか？

主な発見

• GeNetは、すべてのテストケースにおいて、期待されるネットワークリソースの79%を正しく設定した。再設定タスクの92%が正しく完了した。
• GeNetは、初期入力に存在しなかった新規に追加されたコンponentsの設定において72%の正確性を達成した。これは、新規に設定を生成する際の課題を示している。
• トポロジー理解モジュールは、トポロジーのシナリオにおける意図実装成功度と強い正の相関（r = 0.55）を示し、その重要性を強調している。
• LLMの温度パrameterを上昇させると、意図達成のパフォーマンスが著しく低下し、S3-Zスコアも減少した。これは、ネットワークトスクの文脈では決定論的出力が不可欠であることを示している。
• 設定更新タスクは、トポロジー変更タスクほど正確なトポロジー理解に依存しなかった。設定シナリオにおける成功度とトポロジー理解の間には弱い負の相関（r = -0.21）が観察された。
• 結果から、スイッチの追加やネットワークセグメントの再編成といった構造的変更を伴う意図の達成には、正確なトポロジー解釈が不可欠であることが確認された。