[논문 리뷰] Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications

Ali Maatouk, Kenny Chirino Ampudia외 2명|arXiv (Cornell University)|2024. 09. 09.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 Tele-Data와 Tele-Eval을 만들어 통신용 오픈소스 LLM을 개인화하고, 적응 기법을 분석하며, 오픈소스 트레이닝 파이프라인을 갖춘 1B–8B 매개변수의 Tele-LLM 계열을 공개한다.

ABSTRACT

The emergence of large language models (LLMs) has significantly impacted various fields, from natural language processing to sectors like medicine and finance. However, despite their rapid proliferation, the applications of LLMs in telecommunications remain limited, often relying on general-purpose models that lack domain-specific specialization. This lack of specialization results in underperformance, particularly when dealing with telecommunications-specific technical terminology and their associated mathematical representations. This paper addresses this gap by first creating and disseminating Tele-Data, a comprehensive dataset of telecommunications material curated from relevant sources, and Tele-Eval, a large-scale question-and-answer dataset tailored to the domain. Through extensive experiments, we explore the most effective training techniques for adapting LLMs to the telecommunications domain, ranging from examining the division of expertise across various telecommunications aspects to employing parameter-efficient techniques. We also investigate how models of different sizes behave during adaptation and analyze the impact of their training data on this behavior. Leveraging these findings, we develop and open-source Tele-LLMs, the first series of language models ranging from 1B to 8B parameters, specifically tailored for telecommunications. Our evaluations demonstrate that these models outperform their general-purpose counterparts on Tele-Eval and telecommunications-related literature tasks while retaining their previously acquired capabilities, thus avoiding the catastrophic forgetting phenomenon.

연구 동기 및 목표

• 용어 및 수학적 표현으로 인해 통신 분야의 도메인 특화 LLM 필요성 제고.
• 통신 특화 과제에서 견고한 평가와 전달 학습을 가능하게 하는 Tele-Data와 Tele-Eval을 생성한다.
• 모델 크기에 따른 LLM을 통신 분야에 적응시키는 학습 역학과 데이터 요구사항을 분석한다.
• 1B–8B 계열의 통신 특화 LLM을 오픈소스화하고 실행 가능한 적응 가이드를 제공한다.

제안 방법

• LLM 기반 및 정규식 필터링을 사용하여 arXiv, 3GPP 표준, Wikipedia 및 Common Crawl 웹 소스에서 Tele-Data를 선별한다.
• 소스 자료 ID를 포함한 검색-강화 생성(RAG)을 위한 750k 오픈 엔디드 Q&A 데이터셋으로 Tele-Eval을 구성한다.
• 전체 파인튜닝(FFT)과 매개변수 효율 파인튜닝(PEFT)을 비교하고 훈련 에포크 및 데이터 필요성을 평가한다.
• 적응에 대한 모델 크기 효과를 조사하고, 통신 측면들 간의 전문 지식을 다분화한 모델과 단일 통합 모델 간의 비교를 평가한다.
• Tele-Data에 대한 지속적 프리트레이닝을 활용하여 모델 분포를 통신 특화 토큰 쪽으로 이동시키고 재앙적 망각을 방지한다.
• TinyLlama-1.1B, Phi-1.5, Gemma-2B, 및 LLaMA-3-8B를 기반으로 한 Tele-LLMs를 오픈소스화하며, 기본(base) 및 지시문-파인튜닝(instruct-finetuned) 변형을 포함한다.

실험 결과

연구 질문

• RQ1 도메인 특화 데이터와 지속적 프리트레이닝이 일반 모델과 비교하여 통신 과제에서 LLM 성능을 어떻게 향상시킬 수 있는가?
• RQ2 다양한 모델 크기에 걸친 통신 적응에 대한 효과적인 학습 전략(FFT vs PEFT)과 데이터셋 구성은 무엇인가?
• RQ3 통신 지식을 전문 하위 모델로 분할하는 것이 단일 모놀리식 통신 모델보다 전달 학습 및 성능에서 우수한가?
• RQ4 Tele-Eval이 모델 크기 및 훈련 체계와 통신 지식 및 추론 능력 포착에 어떻게 상관되는가?

주요 결과

• Tele-LLMs는 Tele-Eval에서 일반 목적 상대 모델에 비해 평균 25% 상대 향상을 보인다.
• 적응된 소형 모델이 Tele-Eval에서 더 큰 일반 목적 모델에 맞먹을 수 있어 효율적 전문화를 시사한다.
• 적응 파이프라인은 기존 능력을 보존하고 작업 간 재앙적 망각을 방지한다.
• LoRa와 같은 PEFT 방법은 대형 모델에 통신 지식을 주입하는 데 어려움을 겪어 전체 매개변수 파인튜닝(FFT)이 필요하다.
• 적응을 다수의 특화된 통신 모델로 나누면 단일 결합 모델보다 측면들 간의 전달 학습이 우수하다.