[論文レビュー] TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

Hang Zou, Qiyang Zhao+5 more|arXiv (Cornell University)|Jul 12, 2024

Natural Language Processing Techniques被引用数 7

ひとこと要約

本論文は、一般目的の LLM を継続的前訓練、指示チューニング、整合チューニングを通じて通信業界特化の LLM へ適応するパイプラインを提案し、通信業界中心のデータセットとベンチマークを導入する。TelecomGPT は Telecom Math Modeling で SOTA を上回り、いくつかの通信関連ベンチマークで同等の性能を示す。

ABSTRACT

Large Language Models (LLMs) have the potential to revolutionize the Sixth Generation (6G) communication networks. However, current mainstream LLMs generally lack the specialized knowledge in telecom domain. In this paper, for the first time, we propose a pipeline to adapt any general purpose LLMs to a telecom-specific LLMs. We collect and build telecom-specific pre-train dataset, instruction dataset, preference dataset to perform continual pre-training, instruct tuning and alignment tuning respectively. Besides, due to the lack of widely accepted evaluation benchmarks in telecom domain, we extend existing evaluation benchmarks and proposed three new benchmarks, namely, Telecom Math Modeling, Telecom Open QnA and Telecom Code Tasks. These new benchmarks provide a holistic evaluation of the capabilities of LLMs including math modeling, Open-Ended question answering, code generation, infilling, summarization and analysis in telecom domain. Our fine-tuned LLM TelecomGPT outperforms state of the art (SOTA) LLMs including GPT-4, Llama-3 and Mistral in Telecom Math Modeling benchmark significantly and achieve comparable performance in various evaluation benchmarks such as TeleQnA, 3GPP technical documents classification, telecom code summary and generation and infilling.

研究の動機と目的

• 一般的な LLM における通信ドメイン知識の欠如を解消し、通信特有の推論やタスクを効果的に実行できるようにする。
• 費用対効果の高い継続的前訓練、指示チューニング、整合チューニングを用いて、一般目的 LLM を通信ドメインへ適応させる実用的なパイプラインを開発する。
• 通信コンテキストにおける数学モデリング、オープンエンド QA、コードタスクを評価するための、通信に焦点を当てたデータセットと評価ベンチマークを作成する。
• 通信特化モデル（TelecomGPT）が、主要な通信ベンチマークで最先端の LLM と比較して優れたまたは競合的な性能を達成することを示す。

提案手法

• 汎用 LLM を通信特化データセットで継続的前訓練を行い、ゼロからの前訓練より訓練コストを抑えつつ特化させる。
• 通信関連の指示に従う能力とゼロショット/少数ショットタスクの性能を向上させるための通信特化の指示チューニング（教師あり微調整）。
• Direct Preference Optimization (DPO) を用いた通信特化の整合チューニング。RLHF に依存せず、通信に好まれる応答と出力を揃える。
• 3つのデータセットの構築: OpenTelecom（前訓練データ）、TelecomInstruct（多様な通信指示）、TelecomAlign（好みベースの整合のため）
• 3つのベンチマークの導入: Telecom Math Modeling、Telecom Open QnA、Telecom Code Tasks は、通信コンテキストでの数学モデリング、オープンエンド QA、コード関連能力を評価する。
• 任意の技術的詳細: TL（因果言語モデリング）、指示チューニング、DPO 整合のための損失関数の定式化。

Figure 1 : The training pipeline of our TelecomGPT framework. The full pipeline consist of three training stage, namely, continual pretraining on telecom domain, instruct tuning ( SFT ) and alignment tuning.

実験結果

リサーチクエスチョン

• RQ1 一般目的の LLM を継続的前訓練、指示チューニング、整合チューニングを通じて、通信ドメインへ効率的に適応させるにはどうすればよいか。
• RQ2 通信適応型 LLM を評価するのに最も効果的な通信特化データセットとベンチマークは何か。
• RQ3 TelecomGPT は、GPT-4、Llama-3、Mistral などの最先端 LLM と比較して、数学モデリング、Q&A、コード関連のタスクなどの通信中心のタスクでどうパフォーマンスを示すか。
• RQ4 提案されたベンチマークは、通信コンテキストにおける知識照会、数学モデリング、文書分類、コード生成、分析を捉えることができるか。

主な発見

• TelecomGPT は Telecom Math Modeling ベンチマークで GPT-4、Llama-3、Mistral などの最先端 LLM を上回る。
• TelecomGPT は TeleQnA、3GPP テクニカル文書分類、通信コードの要約と生成、インフィリングなどのベンチマークで先駆的モデルと同等の性能を達成。
• 本論文は、既存のベンチマークを3つの新タスク（Telecom Math Modeling、Telecom Open QnA、Telecom Code Tasks）で拡張することにより、総合的な通信特化評価を提供している。
• 一般目的 LLM を通信ドメインへ適応させる継続的前訓練、指示チューニング、整合チューニングを、通信特化データとプロンプトで組み合わせた実用的なパイプラインを実演している。

Figure 5 : Training and evaluation loss during continue pretraining (LlaMA2-7B-TP).