[논문 리뷰] TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge

Ali Maatouk, Fadhel Ayed외 4명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 14

한 줄 요약

TeleQnA는 Open-source 벤치마크 데이터셋(10,000 Q&A)으로 LLM 텔레콤 지식을 평가하기 위해 자동 QnA 생성 프레임워크와 인간-in-the-loop QA 검증으로 생성되었으며 GPT-3.5, GPT-4, 텔레콤 전문가를 벤치마킹합니다.

ABSTRACT

We introduce TeleQnA, the first benchmark dataset designed to evaluate the knowledge of Large Language Models (LLMs) in telecommunications. Comprising 10,000 questions and answers, this dataset draws from diverse sources, including standards and research articles. This paper outlines the automated question generation framework responsible for creating this dataset, along with how human input was integrated at various stages to ensure the quality of the questions. Afterwards, using the provided dataset, an evaluation is conducted to assess the capabilities of LLMs, including GPT-3.5 and GPT-4. The results highlight that these models struggle with complex standards related questions but exhibit proficiency in addressing general telecom-related inquiries. Additionally, our results showcase how incorporating telecom knowledge context significantly enhances their performance, thus shedding light on the need for a specialized telecom foundation model. Finally, the dataset is shared with active telecom professionals, whose performance is subsequently benchmarked against that of the LLMs. The findings illustrate that LLMs can rival the performance of active professionals in telecom knowledge, thanks to their capacity to process vast amounts of information, underscoring the potential of LLMs within this domain. The dataset has been made publicly accessible on GitHub.

연구 동기 및 목표

• 표준 및 연구 소스에서 수집된 포괄적이고 오픈 소스인 텔레콤 지식 벤치마크를 생성합니다.
• 인간-in-the-loop 품질 관리를 갖춘 자동화되고 확장 가능한 QnA 생성 워크플로우를 개발합니다.
• 텔레콤 지식을 벤치마킹하기 위해 GPT-3.5, GPT-4, 및 텔레콤 전문가를 평가합니다.
• 텔레콤 맥락이 LLM 성능을 향상시키는 방법을 보여주고 텔레콤 특화 기초 모델을 옹호합니다.

제안 방법

• 표준, 연구, 및 어휘 소스로부터 다양한 텔레콤 코퍼스를 수집합니다(~25,000 pages, ~6 million words).
• 두 개의 LLM(제너레이터 및 밸리데이터) 프레임워크를 사용하여 맥락적 참조를 포함한 객관식 문제를 생성합니다.
• 정확성과 자가 포함성을 보장하기 위해 여러 단계에 인간-in-the-loop 검증을 포함합니다.
• 자가 포함성 필터링, 보기 섞기, 약어 매핑을 포함한 후처리를 적용합니다.
• 임베딩(Ada v2) 및 K-Means 클러스터링을 통한 중복 제거를 위한 데이터셋 정제를 수행하고 두 번째 인간 검증 패스를 포함합니다.
• 다섯 개의 텔레콤 카테고리에 걸쳐 LLMs(GPT-3.5 및 GPT-4)와 텔레콤 전문가를 평가하고 맥락이 성능에 미치는 영향을 분석합니다.

실험 결과

연구 질문

• RQ1 GPT-3.5 및 GPT-4가 표준, 연구, 어휘, 일반 주제에 걸친 텔레콤 도메인 질문에 대해 얼마나 능숙하게 답하는가?
• RQ2 텔레콤 맥락을 제공하면 표준 관련 질문에서 LLM 성능이 어떻게 개선되는가?
• RQ3 TeleQnA 데이터셋이 텔레콤 주제에 대한 지식에서 활성 텔레콤 전문가와 어떻게 비교되는가?
• RQ4 이 도메인에서 배치 크기와 반복의 영향이 LLM 정확도 신뢰성에 어떤 영향을 미치는가?
• RQ5 텔레콤에서 LLM의 능력을 극대화하기 위해 텔레콤 특화 기초 모델이 필요한가?

주요 결과

• GPT-4는 범주 전반에서 GPT-3.5보다 더 높은 정확도를 달성하며, 평균 약 74% 대 67%입니다.
• LLMs은 일반 텔레콤 지식(사전 용어)에서 뛰어나지만 복잡한 표준 질문에서는 어려움을 보이며(GPT-4 표준에서 약 64%).
• 텔레콤 맥락을 도입하면 표준 질문에서 GPT-3.5의 상대적 정확도가 약 22.5% 증가하여 도메인 특화 맥락의 강한 가치를 시사합니다.
• LLMs은 일반 텔레콤 지식에서 활발한 텔레콤 전문가와 대등한 수준으로 경쟁할 수 있으며, 특히 연구 및 표준과 같은 복잡한 하위 분야에서 그렇습니다.
• 데이터셋과 맥락 활성화 접근 방식은 더 높은 성능을 달성하기 위한 텔레콤 특화 기초 모델의 필요성을 강조합니다.