[논문 리뷰] AviationGPT: A Large Language Model for the Aviation Domain

Liya Wang, Jason Chou외 3명|arXiv (Cornell University)|2023. 11. 29.

Topic Modeling인용 수 4

한 줄 요약

AviationGPT는 오픈소스 LLaMA-2 및 Mistral 아키텍처를 사용하여 정제된 항공 데이터셋으로 피지컬러드된 도메인 특화 대규모 언어 모델로, 질문 응답 및 정보 추출과 같은 NLP 작업에서 40퍼센트 이상의 성능 향상을 달성하며 항공 분야의 맥락에서 정확한 응답을 제공한다.

ABSTRACT

The advent of ChatGPT and GPT-4 has captivated the world with large language models (LLMs), demonstrating exceptional performance in question-answering, summarization, and content generation. The aviation industry is characterized by an abundance of complex, unstructured text data, replete with technical jargon and specialized terminology. Moreover, labeled data for model building are scarce in this domain, resulting in low usage of aviation text data. The emergence of LLMs presents an opportunity to transform this situation, but there is a lack of LLMs specifically designed for the aviation domain. To address this gap, we propose AviationGPT, which is built on open-source LLaMA-2 and Mistral architectures and continuously trained on a wealth of carefully curated aviation datasets. Experimental results reveal that AviationGPT offers users multiple advantages, including the versatility to tackle diverse natural language processing (NLP) problems (e.g., question-answering, summarization, document writing, information extraction, report querying, data cleaning, and interactive data exploration). It also provides accurate and contextually relevant responses within the aviation domain and significantly improves performance (e.g., over a 40% performance gain in tested cases). With AviationGPT, the aviation industry is better equipped to address more complex research problems and enhance the efficiency and safety of National Airspace System (NAS) operations.

연구 동기 및 목표

• 비구조화된 항공 텍스트 데이터의 풍부함에도 불구하고 항공 분야에 특화된 대규모 언어 모델의 부족을 해결하기 위해.
• 도메인 적응형 LLM을 통해 기술적 항공 문서, 보고서 및 운영 데이터의 활용도를 향상시키기 위해.
• 질문 응답, 요약, 데이터 정제와 같은 항공 NLP 작업에서의 성능 향상을 위해.
• 고도화된 언어 이해를 통해 National Airspace System (NAS) 내에서 보다 효율적이고 안전한 운영을 가능하게 하기 위해.
• 일반 목적 LLM과 항공 도메인의 전문화된 언어적 요구 사항 사이의 격차를 메우기 위해.

제안 방법

• 정제된 항공 전용 텍스트 데이터셋으로 오픈소스 LLaMA-2 및 Mistral LLM 아키텍처를 피지컬러드하는 것.
• 기술 매뉴얼, NOTAM, 비행 보고서, 그리고 공중 교통 관제 통신을 포함한 다양한 항공 코퍼스를 사용하는 것.
• 모델 행동을 항공 용어와 맥락에 맞추기 위해 연속적 사전 훈련 및 도메인 적응 기법을 적용하는 것.
• 사실 일관성과 응답의 관련성을 향상시키기 위해 프롬프트 엔지니어링 및 검색 기반 생성(RAG) 기법을 활용하는 것.
• 정보 추출 및 요약과 같은 다양한 항공 NLP 작업에서의 성능을 벤치마킹을 통해 검증하는 것.
• 구조적 프롬프트 및 도메인 인식 디코딩 전략을 통해 추론 효율성과 안전성을 최적화하는 것.

실험 결과

연구 질문

• RQ1 항공 전용 데이터로 피지컬러드된 대규모 언어 모델이 일반 목적 LLM보다 도메인 특화 NLP 작업에서 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ2 도메인 적응이 항공 텍스트 생성 및 이해에서 사실 정확성과 맥락적 관련성에 얼마나 기여하는가?
• RQ3 AviationGPT는 보고서 요약, 데이터 정제, 상호작용 기반 질의와 같은 다양한 항공 NLP 워크로드에서 어떻게 성능을 발휘하는가?
• RQ4 AviationGPT는 핵심 항공 응용 분야에서 기준 모델 대비 어떤 성능 향상을 달성하는가?
• RQ5 AviationGPT는 태스크별로 별도의 피지컬러딩 없이도 복잡한 항공 용어와 비구조화된 문서를 효과적으로 처리할 수 있는가?

주요 결과

• AviationGPT는 기준 모델 대비 테스트된 항공 NLP 작업에서 40퍼센트 이상의 성능 향상을 달성했다.
• 기술 문서를 활용하여 복잡한 항공 관련 질문에 정확하고 맥락에 부합하는 답변을 제시하는 데 뛰어난 정확도를 보였다.
• 최소한의 프롬프트 엔지니어링으로도 요약, 정보 추출, 보고서 생성과 같은 다양한 NLP 작업을 효과적으로 처리했다.
• 항공 데이터셋에서 데이터 정제 및 상호작용 기반 데이터 탐색 능력을 크게 향상시켰다.
• 정제된 항공 코퍼스로의 피지컬러딩을 통해 사실 일관성 향상과 환각 현상 감소를 달성했다.
• 일반 목적 LLM보다 도메인 특화 벤치마크에서 뛰어난 성능을 보이며, 도메인 특화 적응의 가치를 확인했다.