[论文解读] AviationGPT: A Large Language Model for the Aviation Domain

Liya Wang, Jason Chou+3 more|arXiv (Cornell University)|Nov 29, 2023

Topic Modeling被引用 4

一句话总结

AviationGPT 是一种基于开源 LLaMA-2 和 Mistral 架构，在经过筛选的航空数据集上微调的领域专用大语言模型，在问答和信息抽取等自然语言处理任务中实现了超过 40% 的性能提升，同时在航空特定语境下提供上下文准确的响应。

ABSTRACT

The advent of ChatGPT and GPT-4 has captivated the world with large language models (LLMs), demonstrating exceptional performance in question-answering, summarization, and content generation. The aviation industry is characterized by an abundance of complex, unstructured text data, replete with technical jargon and specialized terminology. Moreover, labeled data for model building are scarce in this domain, resulting in low usage of aviation text data. The emergence of LLMs presents an opportunity to transform this situation, but there is a lack of LLMs specifically designed for the aviation domain. To address this gap, we propose AviationGPT, which is built on open-source LLaMA-2 and Mistral architectures and continuously trained on a wealth of carefully curated aviation datasets. Experimental results reveal that AviationGPT offers users multiple advantages, including the versatility to tackle diverse natural language processing (NLP) problems (e.g., question-answering, summarization, document writing, information extraction, report querying, data cleaning, and interactive data exploration). It also provides accurate and contextually relevant responses within the aviation domain and significantly improves performance (e.g., over a 40% performance gain in tested cases). With AviationGPT, the aviation industry is better equipped to address more complex research problems and enhance the efficiency and safety of National Airspace System (NAS) operations.

研究动机与目标

• 解决尽管存在大量非结构化航空文本数据，但航空领域专用大语言模型仍显稀缺的问题。
• 通过领域适配的大语言模型，提升技术航空文档、报告和运行数据的利用率。
• 提升在问答、摘要生成和数据清洗等航空自然语言处理任务中的性能。
• 通过先进的语言理解能力，实现国家空域系统（NAS）内更高效、更安全的运行。
• 弥合通用大语言模型与航空领域特殊语言需求之间的差距。

提出的方法

• 在经过筛选的航空特定文本数据集上，对开源的 LLaMA-2 和 Mistral 大语言模型架构进行微调。
• 使用多样化的航空语料库，包括技术手册、NOTAM、飞行报告和空中交通管制通信内容。
• 应用连续预训练和领域适应技术，使模型行为与航空术语和语境保持一致。
• 采用提示工程和检索增强生成（RAG）技术，提升事实一致性和响应相关性。
• 通过在多个航空自然语言处理任务上的基准测试验证模型性能，包括信息抽取和摘要生成。
• 通过结构化提示和领域感知解码策略，优化推理效率与安全性。

实验结果

研究问题

• RQ1 在航空特定数据上微调的大语言模型，是否能在领域特定的自然语言处理任务中显著优于通用大语言模型？
• RQ2 领域适应在多大程度上提升了航空文本生成与理解中的事实准确性与上下文相关性？
• RQ3 AviationGPT 在包括报告摘要、数据清洗和交互式查询在内的多样化航空自然语言处理工作负载中表现如何？
• RQ4 AviationGPT 在关键航空应用中相较于基线模型实现了多大的性能提升？
• RQ5 AviationGPT 是否能够在无需为每项任务单独微调的情况下，有效处理复杂的航空术语和非结构化文档？

主要发现

• 与基线模型相比，AviationGPT 在测试的航空自然语言处理任务中实现了超过 40% 的性能提升。
• 该模型在使用技术文档回答复杂航空相关问题时，表现出高准确性和上下文相关性。
• 它在摘要生成、信息抽取和报告生成等多样化自然语言处理任务中表现良好，且仅需极少的提示工程。
• 该模型显著提升了航空数据集中的数据清洗和交互式数据探索能力。
• 在筛选的航空语料库上进行微调，增强了事实一致性，并减少了领域特定响应中的幻觉现象。
• AviationGPT 在领域特定基准测试中优于通用大语言模型，证实了领域专用适配的价值。