[論文レビュー] Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications

Ali Maatouk, Kenny Chirino Ampudia+2 more|arXiv (Cornell University)|Sep 9, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

本論文は、通信分野向けにオープンソースLLMを個別化する Tele-Data および Tele-Eval を作成し、適応手法を分析し、オープンソースのトレーニングパイプラインを備えた Tele-LLMs の 1B–8B パラメータ系列を公開します。

ABSTRACT

The emergence of large language models (LLMs) has significantly impacted various fields, from natural language processing to sectors like medicine and finance. However, despite their rapid proliferation, the applications of LLMs in telecommunications remain limited, often relying on general-purpose models that lack domain-specific specialization. This lack of specialization results in underperformance, particularly when dealing with telecommunications-specific technical terminology and their associated mathematical representations. This paper addresses this gap by first creating and disseminating Tele-Data, a comprehensive dataset of telecommunications material curated from relevant sources, and Tele-Eval, a large-scale question-and-answer dataset tailored to the domain. Through extensive experiments, we explore the most effective training techniques for adapting LLMs to the telecommunications domain, ranging from examining the division of expertise across various telecommunications aspects to employing parameter-efficient techniques. We also investigate how models of different sizes behave during adaptation and analyze the impact of their training data on this behavior. Leveraging these findings, we develop and open-source Tele-LLMs, the first series of language models ranging from 1B to 8B parameters, specifically tailored for telecommunications. Our evaluations demonstrate that these models outperform their general-purpose counterparts on Tele-Eval and telecommunications-related literature tasks while retaining their previously acquired capabilities, thus avoiding the catastrophic forgetting phenomenon.

研究の動機と目的

• 用語と数式表現のため、通信分野におけるドメイン固有の LLM の必要性を動機づける。
• 通信特有のタスクに対する堅牢な評価と転移学習を可能にする Tele-Data と Tele-Eval を作成する。
• モデルサイズ全体にわたる通信分野への適応のためのトレーニングダイナミクスとデータ要件を分析する。
• 1B–8B の通信特化型 LLM の系列をオープンソース化し、実用的な適応ガイドラインを提供する。

提案手法

• LLM ベースおよび正規表現フィルタリングを用いて、arXiv、3GPP 標準、Wikipedia、Common Crawl のウェブソースから Tele-Data を収集する。
• Retrieval-augmented generation のためのソース材料ID付きの750kのオープンエンドQ&Aデータセットとして Tele-Eval を構築する。
• 全層微調整 (FFT) とパラメータ効率的微調整 (PEFT) を比較し、学習エポック数とデータ要件を評価する。
• 適応に対するモデルサイズの影響を調査し、通信の特定側面ごとに専門知識を分割することと、単一の統合モデルとの比較を評価する。
• Tele-Data 上の継続的事前学習を活用して、通信特有のトークンへモデル分布をシフトしつつ、壊滅的忘却に対処する。
• TinyLlama-1.1B、Phi-1.5、Gemma-2B、LLaMA-3-8B に基づく Tele-LLMs をオープンソース化し、ベースおよび instruct-finetuned 派生を含む。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化データと継続的事前学習が、汎用モデルと比較して通信タスクにおける LLM の性能をどのように向上させるか？
• RQ2 モデルサイズ別の通信適応における、効果的なトレーニング戦略（FFT vs PEFT）とデータセット構成は何か？
• RQ3 通信知識を専門的なサブモデルに分割することは、転移学習と性能において単一のモノリシックな通信モデルを上回るか？
• RQ4 Tele-Eval は、通信知識と推論を捉える際のモデルサイズとトレーニング体制とどのように相関するか？

主な発見

• Tele-LLMs は Tele-Eval において、一般用途の counterparts より平均で 25% の相対的改善を示す。
• 小型に適応したモデルが Tele-Eval でより大規模な汎用モデルに匹敵でき、効率的な特化を示す。
• 適応パイプラインは既存の能力を保持し、タスク間の壊滅的忘却を回避する。
• LoRa のような PEFT 手法は、より大きなモデルへ通信知識を伝えるのに苦戦し、FFT が必要になる。
• 適応を複数の専門的な通信モデルに分割することで、単一の結合モデルよりも側面全体で優れた転移学習を実現する。