[論文レビュー] TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge

Ali Maatouk, Fadhel Ayed+4 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 14

ひとこと要約

TeleQnAは、LLMの通信知識を評価する最初のオープンソースのベンチマークデータセット（10,000件のQ&A）であり、人間が介在するQA検証を備えた自動QnA生成フレームワークを通じて作成され、GPT-3.5、GPT-4、そして通信専門家をベンチマークした。

ABSTRACT

We introduce TeleQnA, the first benchmark dataset designed to evaluate the knowledge of Large Language Models (LLMs) in telecommunications. Comprising 10,000 questions and answers, this dataset draws from diverse sources, including standards and research articles. This paper outlines the automated question generation framework responsible for creating this dataset, along with how human input was integrated at various stages to ensure the quality of the questions. Afterwards, using the provided dataset, an evaluation is conducted to assess the capabilities of LLMs, including GPT-3.5 and GPT-4. The results highlight that these models struggle with complex standards related questions but exhibit proficiency in addressing general telecom-related inquiries. Additionally, our results showcase how incorporating telecom knowledge context significantly enhances their performance, thus shedding light on the need for a specialized telecom foundation model. Finally, the dataset is shared with active telecom professionals, whose performance is subsequently benchmarked against that of the LLMs. The findings illustrate that LLMs can rival the performance of active professionals in telecom knowledge, thanks to their capacity to process vast amounts of information, underscoring the potential of LLMs within this domain. The dataset has been made publicly accessible on GitHub.

研究の動機と目的

• 標準と研究ソースから組み立てられた、包括的でオープンソースの通信知識ベンチマークを作成する。
• 人間の介在による品質管理を組み込んだ、自動化・スケーラブルなQnA生成ワークフローを開発する。
• 通信知識をベンチマークするためにGPT-3.5、GPT-4、そして通信専門家を評価する。
• 通信コンテキストがLLMの性能を向上させることを示し、通信専用のファウンデーションモデルの提唱を行う。

提案手法

• 標準、研究、用語集源から多様な通信コーパス（約25,000ページ、約600万語）を収集する。
• 文脈参照を含む選択式問題を作成するために、二つのLLM（生成器と検証器）フレームワークを使用する。
• 正確性と自己完結性を保証するため、複数の段階で人間の介在検証を組み込む。
• 自己完結性のフィルタリング、選択肢のシャッフル、頭字語のマッピングを含む後処理を適用する。
• 埋め込み（Ada v2）とK-Meansクラスタリングを用いて冗長性を減らすためデータセットを精練し、二度目の人間検証を実施する。
• 五つの通信カテゴリに渡ってLLMs（GPT-3.5とGPT-4）と通信専門家を評価し、性能に対する文脈効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準、研究、用語集、一般トピックを横断して、GPT-3.5とGPT-4が通信分野の質問にどの程度正しく回答できるか？
• RQ2 通信コンテキストを提供することで、標準に関連する質問に対するLLMの性能はどう改善されるか？
• RQ3 TeleQnAデータセットは、通信トピックの知識において現役の通信専門家とどのように比較されるか？
• RQ4 この分野でのLLMの精度信頼性に対するバッチサイズと反復回数の影響は？
• RQ5 通信におけるLLM能力を最大化するために、専用の通信ファウンデーションモデルが必要か？

主な発見

• GPT-4はカテゴリ全体でGPT-3.5より高い正確さを示し、平均で約74%対67%。
• LLMsは一般的な通信知識（語彙）に優れる一方、複雑な標準問題には苦戦する（GPT-4は標準で約64%）。
• 通信コンテキストの組み込みは、標準問題でGPT-3.5の相対正確度を約22.5%向上させ、ドメイン特化の文脈の強い価値を示唆する。
• LLMsは全体としての通信知識で現役の通信専門家に匹敵し得る、特に研究や標準のような複雑なサブドメインで。
• データセットと文脈対応アプローチは、より高い性能を引き出すための通信専用ファウンデーションモデルの必要性を強調している。