[논문 리뷰] TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

Hang Zou, Qiyang Zhao외 5명|arXiv (Cornell University)|2024. 07. 12.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 일반 목적 LLM을 지속적 사전학습, 지시 조정, 정렬 조정을 통해 통신 전용 LLM으로 적응시키는 파이프라인을 제시하고, 통신 중심 데이터 세트와 벤치마크를 도입합니다. TelecomGPT는 Telecom Math Modeling에서 SOTA를 능가하고 다수의 통신 관련 벤치마크에서도 성능이 비슷한 수준으로 나타난다.

ABSTRACT

Large Language Models (LLMs) have the potential to revolutionize the Sixth Generation (6G) communication networks. However, current mainstream LLMs generally lack the specialized knowledge in telecom domain. In this paper, for the first time, we propose a pipeline to adapt any general purpose LLMs to a telecom-specific LLMs. We collect and build telecom-specific pre-train dataset, instruction dataset, preference dataset to perform continual pre-training, instruct tuning and alignment tuning respectively. Besides, due to the lack of widely accepted evaluation benchmarks in telecom domain, we extend existing evaluation benchmarks and proposed three new benchmarks, namely, Telecom Math Modeling, Telecom Open QnA and Telecom Code Tasks. These new benchmarks provide a holistic evaluation of the capabilities of LLMs including math modeling, Open-Ended question answering, code generation, infilling, summarization and analysis in telecom domain. Our fine-tuned LLM TelecomGPT outperforms state of the art (SOTA) LLMs including GPT-4, Llama-3 and Mistral in Telecom Math Modeling benchmark significantly and achieve comparable performance in various evaluation benchmarks such as TeleQnA, 3GPP technical documents classification, telecom code summary and generation and infilling.

연구 동기 및 목표

• 통신 도메인 지식 부족을 해결하고 통신 특화 추론 및 작업을 효과적으로 수행하도록 한다.
• 일반 목적 LLM을 통신 도메인에 적응시키는 비용 효율적인 지속적 사전학습, 지시 조정, 정렬 조정을 개발한다.
• 통신 맥락에서 수학 모델링, 개방형 QA, 코드 작업을 평가하는 통신 중심 데이터 세트와 평가 벤치마크를 만든다.
• TelecomGPT가 주요 통신 벤치마크에서 최첨단 LLM과 비교해 우수하거나 경쟁력 있는 성능을 달성함을 보인다.

제안 방법

• 통신 특화 데이터 세트에서의 지속적 사전학습을 통해 일반 목적 LLM을 전문화하면서 scratch 대비 학습 비용은 낮게 유지한다.
• 통신 특화 지시 조정(지도 학습 미세 조정)을 통해 통신 관련 지시를 더 잘 따르고 제로/소수 샷 작업 성능을 향상시킨다.
• Direct Preference Optimization(DPO)을 사용한 통신 특화 정렬 조정을 통해 RLHF에 의존하지 않고 출력이 통신 선호 응답과 일치하도록 정렬한다.
• 세 가지 데이터 세트 구성: OpenTelecom(사전학습 데이터), TelecomInstruct(다양한 통신 지시), TelecomAlign(선호 기반 정렬).
• 세 가지 벤치마크 도입: Telecom Math Modeling, Telecom Open QnA, Telecom Code Tasks를 통해 수학 모델링, 개방형 QA, 코드 관련 역량을 평가한다.
• 선택적 기술 세부사항: TL(인과적 언어 모델링), 지시 조정, DPO 정렬에 대한 손실 함수의 공식화를 포함한다.

Figure 1 : The training pipeline of our TelecomGPT framework. The full pipeline consist of three training stage, namely, continual pretraining on telecom domain, instruct tuning ( SFT ) and alignment tuning.

실험 결과

연구 질문

• RQ1 일반 목적 LLM을 지속적 사전학습, 지시 조정, 정렬 조정을 통해 통신 도메인에 효율적으로 적응시키려면 어떻게 할 수 있는가?
• RQ2 통신에 특화된 어떤 데이터 세트와 벤치마크가 통신에 적합하게 조정된 LLM을 평가하는 데 가장 효과적인가?
• RQ3 TelecomGPT의 수학 모델링, Q&A, 코드 관련 작업과 같은 통신 중심 작업에서 GPT-4, Llama-3, Mistral과 같은 최첨단 LLM에 비해 어떤 성능 차이가 나타나는가?
• RQ4 제안된 벤치마크가 통신 맥락에서 지식 조회, 수학 모델링, 문서 분류, 코드 생성 및 분석을 포착할 수 있는가?

주요 결과

• TelecomGPT가 Telecom Math Modeling 벤치마크에서 GPT-4, Llama-3, Mistral 등 최첨단 LLM을 능가한다.
• TelecomGPT는 TeleQnA, 3GPP 기술 문서 분류, 통신 코드 요약 및 생성, 인필링 등 벤치마크에서 주요 모델과 비슷한 성능을 달성한다.
• 이 논문은 기존 벤치마크를 세 가지 새로운 작업(Telecom Math Modeling, Telecom Open QnA, Telecom Code Tasks)으로 확장하여 전반적 통신 중심 평가를 제공한다.
• 일반 목적 LLM을 통신 도메인에 적응시키는 실용적인 파이프라인을 지속적 사전학습, 지시 조정, 정렬 조정을 통해 통신 특화 데이터와 프롬프트로 시연한다.

Figure 5 : Training and evaluation loss during continue pretraining (LlaMA2-7B-TP).