[논문 리뷰] An Empirical Study of NetOps Capability of Pre-Trained Large Language Models

Yukai Miao, Yu Bai외 11명|arXiv (Cornell University)|2023. 09. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 5개의 하위 도메인에 걸쳐 5,732개의 네트워크 운영(NetOps) 중심 질문을 포함한 다국어 기준 평가 벤치마크인 NetEval을 소개한다. 이는 사전 훈련된 대규모 언어 모델 26종의 네트워크 운영 능력을 평가하기 위한 것이다. 인간 수준의 성능에 도달한 유일한 모델은 GPT-4이며, LLaMA 2와 같은 오픈소스 모델들은 전문 네트워킹 작업에서의 현재 한계와 미래 잠재력을 동시에 드러내고 있다.

ABSTRACT

Nowadays, the versatile capabilities of Pre-trained Large Language Models (LLMs) have attracted much attention from the industry. However, some vertical domains are more interested in the in-domain capabilities of LLMs. For the Networks domain, we present NetEval, an evaluation set for measuring the comprehensive capabilities of LLMs in Network Operations (NetOps). NetEval is designed for evaluating the commonsense knowledge and inference ability in NetOps in a multi-lingual context. NetEval consists of 5,732 questions about NetOps, covering five different sub-domains of NetOps. With NetEval, we systematically evaluate the NetOps capability of 26 publicly available LLMs. The results show that only GPT-4 can achieve a performance competitive to humans. However, some open models like LLaMA 2 demonstrate significant potential.

연구 동기 및 목표

• 사전 훈련된 대규모 언어 모델의 네트워크 운영 능력을 측정하기 위한 종합적이고 다국어 기반의 평가 기준을 구축하기 위해.
• LLM이 트러블슈팅, 구성, 보안과 같은 실제 네트워크 운영 작업을 얼마나 잘 수행할 수 있는지 평가하기 위해.
• 특정 도메인의 네트워킹 시나리오에서 최신 LLM과 인간 전문가 간의 성능 격차를 규명하기 위해.
• 프롬프팅 전략, 지시 훈련, 검색 기반 생성이 NetOps 추론에 미치는 영향을 평가하기 위해.
• 특히 영어와 중국어 NetOps 질문 간의 다국어 성능 차이를 조사하기 위해.

제안 방법

• 자격 시험과 기술 자료에서 유래한 5,732개의 NetOps 질문을 포함한 다국어 데이터셋인 NetEval을 구축하였으며, 다중 선택, 클로즈드 형식, 닫힘 질문 형식에 중점을 두었다.
• 모델 출력을 표준화하고 평가 신뢰도를 향상시키기 위해 규칙 기반 후처리를 적용한 제로샷 및 피셔샷 프롬프팅을 활용하였다.
• 특히 작은 모델들에서 추론 능력을 향상시키기 위해 체인 오브 토의(Chain-of-Thought, CoT) 프롬프팅을 적용하였다.
• 외부 지식을 강화하기 위해 검색 기반 생성(Retrieval-Augmented Generation, RAG)을 사용하여 맥락을 풍부화시켰으며, 이는 제로샷 성능 향상에 기여하였다.
• LLaMA-2 및 팔콘 모델에 일반 도메인 데이터를 사용해 지시 훈련(SFT)을 수행하여 NetOps 성능에 미치는 영향을 평가하였다.
• 다국어 능력과 사전 훈련 데이터 편향을 분석하기 위해 영어 질문과 중국어 질문으로 나누어 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 LLM은 실제 네트워크 운영 작업에서 인간 전문가 수준의 성능을 달성할 수 있는가?
• RQ2 제로샷, 피셔샷, 체인 오브 토의, 검색 기반 생성과 같은 다양한 프롬프팅 전략은 NetOps 작업에서 LLM 성능에 어떤 영향을 미치는가?
• RQ3 일반 도메인 데이터를 사용한 지시 훈련은 NetOps 전용 추론 작업에서 LLM 성능을 향상시키는가?
• RQ4 다국어 맥락에서, 특히 영어 대비 중국어에서 모델 성능은 어떻게 변화하는가?
• RQ5 어느 오픈소스 LLM이 NetOps 워크플로우에 구현될 잠재력이 가장 높은가?

주요 결과

• NetEval 벤치마크에서 인간 전문가 수준의 성능에 도달한 유일한 모델은 GPT-4이며, 이는 현재 LLM의 NetOps 능력에 여전히 큰 격차가 있음을 시사한다.
• LLaMA-2 모델, 특히 LLaMA-2-7B는 오픈소스임에도 불구하고 많은 폐쇄소스 모델을 능가하는 강력한 잠재력을 보여주고 있다.
• 체인 오브 토의 프롬프팅은 LLaMA-7B와 LLaMA-2-7B에서 피셔샷 정확도를 각각 4–5% 향상시켰으며, 이는 CoT이 작은 모델에 더 효과적임을 시사한다.
• 검색 기반 생성(RAG)은 제로샷 성능을 일관되게 향상시켰고, 일부 사례에선 피셔샷 결과를 초월하기까지 했으며, 이는 지식 검색에 있어 그 가치가 있음을 보여준다.
• 지시 훈련된 모델들(예: LLaMA-2-Chat, Falcon-Instruct)은 기본 모델들보다 성능이 열등했으며, 이는 피처 튜닝 데이터의 도메인 불일치 때문일 가능성이 높다.
• 이중어(중국어/영어) 코퍼스로 사전 훈련된 모델들, 예를 들어 Baichuan과 Moss는 중국어 질문에서 영어 질문보다 14–17% 높은 정확도를 기록했으며, 특정 모델에서 강력한 다국어 능력을 보여주고 있다.