[논문 리뷰] Making Network Configuration Human Friendly

Changjie Wang, Mariano Scazzariello외 3명|arXiv (Cornell University)|2023. 09. 12.

Software System Performance and Reliability인용 수 10

한 줄 요약

본 논문은 자연어 네트워크 요구사항을 낮은 수준 구성(P4 및 BGP)으로 번역하는 LLM 기반 시스템인 NetBuddy를 소개하며, GPT-4 기반의 개념 증명과 런타임 BGP 수정 시나리오를 통해 시연하고, 다단계 생성 파이프라인과 정확성 향상을 위한 검증기를 갖춘다.

ABSTRACT

This paper explores opportunities to utilize Large Language Models (LLMs) to make network configuration human-friendly, simplifying the configuration of network devices and minimizing errors. We examine the effectiveness of these models in translating high-level policies and requirements (i.e., specified in natural language) into low-level network APIs, which requires understanding the hardware and protocols. More specifically, we propose NETBUDDY for generating network configurations from scratch and modifying them at runtime. NETBUDDY splits the generation of network configurations into fine-grained steps and relies on self-healing code-generation approaches to better take advantage of the full potential of LLMs. We first thoroughly examine the challenges of using these models to produce a fully functional & correct configuration, and then evaluate the feasibility of realizing NETBUDDY by building a proof-of-concept solution using GPT-4 to translate a set of high-level requirements into P4 and BGP configurations and run them using the Kathará network emulator.

연구 동기 및 목표

• 대형 언어 모델이 네트워크 구성 작업을 어떻게 더 간단하게 자동화할 수 있는지 동기를 부여하고 평가한다.
• 고수준 요구사항을 저수준 구성으로 번역하기 위한 다단계 LLM 기반 파이프라인인 NetBuddy를 제안한다.
• 실제 네트워크에서 NetBuddy를 구현하는 데 따른 도전과제, 한계 및 실행 가능성을 평가한다.

제안 방법

• 세 단계 파이프라인 제안: (1) 자연어 입력을 형식 명세로 번역하고, (2) 형식 명세를 고수준 구성으로 변환하며, (3) 장비를 위한 저수준 구성 및 명령어를 생성한다.
• 구문, 컴파일 가능성 및 정확성을 점검하는 검증기 컴포넌트를 통합하고 LLM에 피드백을 제공한다.
• GPT-4를 사용하여 P4 경로 및 BGP 관련 구성을 생성하는 개념 검증을 시연하고, Kathará 네트워크 에뮬레이터에서 검증한다.
• 독점적 디바이스 및 프로토콜을 다루기 위한 다중 모달 입력 사용 및 미세조정 또는 네트워크 특정 정보의 활용 가능성을 논의한다.
• 모델 동작, 배치 처리 전략, 모델 정확도, 요구사항 복잡성 및 비용 간의 트레이드오프를 분석한다.
• 사례 시나리오: P4 지원 스위치를 위한 MPLS 경로 설정 및 런타임 BGP 라우터 수정.

실험 결과

연구 질문

• RQ1 최신 LLM이 고수준의 자연어 네트워크 요구사항을 형식 명세로, 그리고 올바른 저수준 구성으로 번역할 수 있는가?
• RQ2 자연어 요구사항으로부터 P4 및 BGP 구성을 생성하기 위한 다단계 NetBuddy 파이프라인이 실현 가능하고 효과적인가?
• RQ3 네트워크 구성에 LLM을 사용할 때의 주요 도전과제, 한계, 비용/정확도 트레이드오프는 무엇인가?
• RQ4 검증 및 피드백 루프가 LLM이 생성한 네트워크 구성의 정확성과 강건성을 어떻게 향상시킬 수 있는가?

주요 결과

• LLMs는 개념 증명에서 미세조정 없이도 자연어 요구사항으로부터 작동하는 P4 및 BGP 구성을 생성할 수 있다
• 요구사항을 번역할 때 모델 정확도, 요구사항의 복잡성 및 경제적 비용 사이의 트레이드오프가 있다
• 요구사항을 배치 처리(예: 한 번에 10개)하면 번역 정확도가 향상되고 요구사항당 비용이 감소한다
• 요구사항의 명시적 모순은 GPT-4에 의해 탐지될 수 있지만, 암시적 충돌은 추가 도구 없이는 여전히 도전적이다
• 검증기와 반복적 피드백은 생성된 구성의 구문 및 기능적 오류를 수정할 수 있다
• 이 방법은 새로운 요구사항이 추가될 때 기존 구성을 재사용할 수 있게 해주며, 처음부터 다시 시작하는 것을 피한다