[논문 리뷰] GeNet: A Multimodal LLM-Based Co-Pilot for Network Topology and Configuration

Beni Ifland, Elad Duani외 10명|arXiv (Cornell University)|2024. 07. 11.

Service-Oriented Architecture and Web Services인용 수 4

한 줄 요약

GeNet는 네트워크 토폴로지 이미지와 텍스트 기반 의도를 해석하여 네트워크 토폴로지와 장치 설정을 모두 업데이트하는 멀티모달 대규모 언어모델(LLM) 기반 공동보조자(co-pilot)입니다. 새로 추가된 구성 요소를 설정하는 데 72%의 정확도를 달성하며, 토폴로지 수정을 위한 의도를 구현할 때 정확한 토폴로지 이해가 핵심임을 입증합니다.

ABSTRACT

Communication network engineering in enterprise environments is traditionally a complex, time-consuming, and error-prone manual process. Most research on network engineering automation has concentrated on configuration synthesis, often overlooking changes in the physical network topology. This paper introduces GeNet, a multimodal co-pilot for enterprise network engineers. GeNet is a novel framework that leverages a large language model (LLM) to streamline network design workflows. It uses visual and textual modalities to interpret and update network topologies and device configurations based on user intents. GeNet was evaluated on enterprise network scenarios adapted from Cisco certification exercises. Our results demonstrate GeNet's ability to interpret network topology images accurately, potentially reducing network engineers' efforts and accelerating network design processes in enterprise environments. Furthermore, we show the importance of precise topology understanding when handling intents that require modifications to the network's topology.

연구 동기 및 목표

• 구성 요소 설정 생성 외에 토폴로지 업데이트까지 지원하는 네트워크 엔지니어링 자동화의 격차를 메우기 위해.
• GeNet이 시각적 토폴로지 다이어그램을 해석하여 사용자가 자연어로 고수준의 의도를 제시할 수 있도록 하여 업데이트를 안내하기 위해.
• 의도 기반의 토폴로지 및 설정 변경을 자동화하여 수동 작업을 줄이고 네트워크 설계 속도를 높이기 위해.
• LLM의 온도 설정이 토폴로지 이해 및 의도 이행 정확도에 미치는 영향을 조사하기 위해.
• 구조적 네트워크 변경이 필요한 의도를 성공적으로 이행하기 위해 정확한 토폴로지 이해가 필수적임을 입증하기 위해.

제안 방법

• GeNet는 토폴로지 이해(TIU)와 의도 구현(II)이라는 두 모듈로 구성된 파이프라인을 사용하며, 첫 번째 모듈은 시각적 토폴로지 이미지를 처리하고, 두 번째 모듈은 설정 업데이트를 생성합니다.
• 토폴로지 이해 모듈은 시각-언어 LLM을 활용해 네트워크 토폴로지 다이어그램에서 구조적 정보를 추출하여 맥락 인식 기반의 해석을 가능하게 합니다.
• 의도 구현 모듈은 사용자가 제공한 자연어 기반 의도를 바탕으로 장치 설정과 토폴로지 수정을 생성하기 위해 LLM을 활용합니다.
• 시스템은 토폴로지 및 설정 변경에 대한 추론을 이끌어내기 위해 체인 오브 토우트 프롬프팅 전략을 사용하여 일관성과 정확도를 향상시킵니다.
• 성능 평가는 시스코 자격증 시험에서 유도된 250개 시나리오를 대상으로 하며, 성공 여부는 S3-Z 점수와 토폴로지 이해 정확도로 측정됩니다.
• LLM 창의성에 영향을 미치는 온도 초모수 조정을 통해 출력 신뢰성에 미치는 영향을 평가하였으며, 낮은 온도 설정에서 더 우수한 결과를 얻었습니다.

실험 결과

연구 질문

• RQ1 멀티모달 LLM이 네트워크 토폴로지 이미지를 얼마나 정확히 이해하여 의도 기반 네트워크 업데이트를 지원할 수 있는가?
• RQ2 토폴로지 이해 성능이 네트워크 설계 작업에서 의도 구현 성공에 어떤 영향을 미치는가?
• RQ3 LLM의 온도 설정이 토폴로지 및 설정 업데이트의 신뢰성과 정확도에 어떤 영향을 미치는가?
• RQ4 다수의 구성 요소를 추가하는 것과 같은 복잡한 토폴로지 변경 작업은 구성 전용 업데이트와 비교해 LLM 성능에 어떤 차이를 보이는가?
• RQ5 구조적 네트워크 수정이 필요한 의도를 성공적으로 이행하기 위해 정확한 토폴로지 이해가 필수적인가?

주요 결과

• GeNet는 모든 테스트 케이스에서 예상되는 네트워크 구성 요소의 79%를 성공적으로 설정하였으며, 재구성 작업의 92%가 정확하게 완료되었습니다.
• GeNet는 초기 입력에 존재하지 않는 새로 추가된 구성 요소의 설정에서 72%의 정확도를 달성하여, 처음부터 설정을 생성하는 데 어려움이 있음을 시사합니다.
• 토폴로지 이해 모듈은 토폴로지 시나리오에서 의도 구현 성공과 강한 정적 상관관계(r = 0.55)를 보였으며, 이는 그 모듈의 핵심적 역할을 입증합니다.
• LLM 온도 파rameter를 증가시키면 의도 이행 성능이 크게 악화되었으며, S3-Z 점수가 감소함에 따라 결정론적 출력이 네트워크 작업에 있어 필수적임을 시사합니다.
• 구성 업데이트 작업은 토폴로지 이해 정확도에 더 덜 의존하는 반면, 토폴로지 수정 작업은 그렇지 않아, 구성 시나리오에서 토폴로지 이해와 성공률 간에 약한 음의 상관관계(r = -0.21)를 보였습니다.
• 결과는 스위치 추가나 네트워크 세그먼트 재구성과 같은 구조적 변경이 필요한 의도를 성공적으로 이행하기 위해 정확한 토폴로지 이해가 필수적임을 확인합니다.