[论文解读] Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications

Ali Maatouk, Kenny Chirino Ampudia+2 more|arXiv (Cornell University)|Sep 9, 2024

Natural Language Processing Techniques被引用 7

一句话总结

本文创建了 Tele-Data 和 Tele-Eval，用于个性化面向电信领域的开源 LLM，并分析了适配技术，发布了 1B–8B 参数规模的 Tele-LLMs，以及开源训练流水线。

ABSTRACT

The emergence of large language models (LLMs) has significantly impacted various fields, from natural language processing to sectors like medicine and finance. However, despite their rapid proliferation, the applications of LLMs in telecommunications remain limited, often relying on general-purpose models that lack domain-specific specialization. This lack of specialization results in underperformance, particularly when dealing with telecommunications-specific technical terminology and their associated mathematical representations. This paper addresses this gap by first creating and disseminating Tele-Data, a comprehensive dataset of telecommunications material curated from relevant sources, and Tele-Eval, a large-scale question-and-answer dataset tailored to the domain. Through extensive experiments, we explore the most effective training techniques for adapting LLMs to the telecommunications domain, ranging from examining the division of expertise across various telecommunications aspects to employing parameter-efficient techniques. We also investigate how models of different sizes behave during adaptation and analyze the impact of their training data on this behavior. Leveraging these findings, we develop and open-source Tele-LLMs, the first series of language models ranging from 1B to 8B parameters, specifically tailored for telecommunications. Our evaluations demonstrate that these models outperform their general-purpose counterparts on Tele-Eval and telecommunications-related literature tasks while retaining their previously acquired capabilities, thus avoiding the catastrophic forgetting phenomenon.

研究动机与目标

• 基于术语和数学表示，推动在电信领域使用领域特定的 LLM 的需求。
• 创建 Tele-Data 和 Tele-Eval，以在电信特定任务中实现稳健的评估和迁移学习。
• 分析在不同模型规模下将 LLM 适应到电信领域时的训练动态和数据需求。
• 开放源代码一系列电信专用 LLM（1B–8B），并提供可操作的适配指南。

提出的方法

• 从 arXiv、3GPP 标准、维基百科和 Common Crawl 网络来源，通过基于 LLM 的过滤和正则表达式筛选来整理 Tele-Data。
• 将 Tele-Eval 构建为 750k 的开放式问答数据集，附带源材料 ID 以用于检索增强生成。
• 比较全参数微调（FFT）与参数高效微调（PEFT），并评估训练轮次和数据需求。
• 研究模型规模对适配的影响，并评估将电信知识分成多项专门子模型与单一综合模型之间的知识分工。
• 在 Tele-Data 上进行持续预训练，以将模型分布向电信领域特定标记偏移，同时解决灾难性遗忘。
• 基于 TinyLlama-1.1B、Phi-1.5、Gemma-2B、LLaMA-3-8B 的 Tele-LLMs 开源，包括基础版本与指令微调版本。

实验结果

研究问题

• RQ1 与通用模型相比，领域特定数据和持续预训练如何提升 LLM 在电信任务上的表现？
• RQ2 在跨模型规模的电信适配中，哪些有效的训练策略（FFT vs PEFT）和数据集配置？
• RQ3 将电信知识划分为专门的子模型是否在迁移学习和性能方面优于单一的综合电信模型？
• RQ4 Tele-Eval 如何与模型规模和训练方案相关联，以捕捉电信知识与推理能力？

主要发现

• Tele-LLMs 在 Tele-Eval 上相对于通用模型平均实现 25% 的相对提升。
• 较小的适配模型在 Tele-Eval 上可与更大通用模型相匹配，表明高效的专业化。
• 适配流程在各任务上保留现有能力，避免灾难性遗忘。
• 像 LoRa 这样的 PEFT 方法在较大模型上难以传授电信知识，因此需要完全参数微调（FFT）。
• 将适配分成多个专门的电信模型，在各方面的迁移学习优于单一的综合模型。