[論文レビュー] AviationGPT: A Large Language Model for the Aviation Domain

Liya Wang, Jason Chou+3 more|arXiv (Cornell University)|Nov 29, 2023

Topic Modeling被引用数 4

ひとこと要約

AviationGPT は、オープンソースの LLaMA-2 および Mistral アーキテクチャを用いて、キュレートされた航空関連データセットで微調整された分野特化型の大規模言語モデルであり、質問応答や情報抽出などの自然言語処理タスクで 40% 以上の性能向上を達成し、航空分野特有の文脈においても正確な応答を提供している。

ABSTRACT

The advent of ChatGPT and GPT-4 has captivated the world with large language models (LLMs), demonstrating exceptional performance in question-answering, summarization, and content generation. The aviation industry is characterized by an abundance of complex, unstructured text data, replete with technical jargon and specialized terminology. Moreover, labeled data for model building are scarce in this domain, resulting in low usage of aviation text data. The emergence of LLMs presents an opportunity to transform this situation, but there is a lack of LLMs specifically designed for the aviation domain. To address this gap, we propose AviationGPT, which is built on open-source LLaMA-2 and Mistral architectures and continuously trained on a wealth of carefully curated aviation datasets. Experimental results reveal that AviationGPT offers users multiple advantages, including the versatility to tackle diverse natural language processing (NLP) problems (e.g., question-answering, summarization, document writing, information extraction, report querying, data cleaning, and interactive data exploration). It also provides accurate and contextually relevant responses within the aviation domain and significantly improves performance (e.g., over a 40% performance gain in tested cases). With AviationGPT, the aviation industry is better equipped to address more complex research problems and enhance the efficiency and safety of National Airspace System (NAS) operations.

研究の動機と目的

• 未構造化された航空関連テキストデータの豊富さにもかかわらず、航空分野特化型の大規模言語モデルの不足に取り組むこと。
• 分野適応型 LLM を通じて、技術的航空文書、報告書、運用データの活用を向上させること。
• 質問応答、要約、データクリーニングなどの航空分野 NLP タスクにおける性能を向上させること。
• 高度な言語理解を通じて、National Airspace System (NAS) 内の運用をより効率的かつ安全にすること。
• 一般用途 LLM と航空分野特有の言語的要件の間のギャップを埋めること。

提案手法

• キュレートされた航空関連テキストデータセットを用いて、オープンソースの LLaMA-2 および Mistral LLM アーキテクチャを微調整すること。
• 技術マニュアル、NOTAM、フライトレポート、空港管制通信を含む多様な航空コーパスを活用すること。
• モデルの振るまいを航空用語や文脈に合わせるため、継続的プレトレーニングおよび分野適応技術を適用すること。
• 事実の整合性と応答の関連性を向上させるために、プロンプト工学およびリtrieval-augmented generation (RAG) 技術を採用すること。
• 情報抽出や要約を含む、複数の航空 NLP タスクにおけるベンチマークを通じて、モデルのパフォーマンスを検証すること。
• 構造化されたプロンプトおよび分野に配慮したデコード戦略を用いて、推論効率と安全性を最適化すること。

実験結果

リサーチクエスチョン

• RQ1 航空分野特化データで微調整された大規模言語モデルは、一般用途 LLM よりも分野特化型 NLP タスクで顕著に優れた性能を発揮できるか？
• RQ2 分野適応は、航空テキスト生成および理解における事実の正確性と文脈的関連性をどの程度向上させるか？
• RQ3 AviationGPT は、レポート要約、データクリーニング、インタラクティブクエリなど、多様な航空 NLP ワークロードでどの程度の性能を発揮するか？
• RQ4 AviationGPT は、重要な航空アプリケーションにおいて、ベースラインモデルに比べてどの程度のパフォーマンス向上を達成するか？
• RQ5 AviationGPT は、タスクごとの微調整なしに、複雑な航空用語や未構造化ドキュメントを効果的に処理できるか？

主な発見

• AviationGPT は、ベースラインモデルと比較して、テストされた航空 NLP タスクで 40% 以上の性能向上を達成した。
• 技術文書を用いた複雑な航空関連質問に対して、高い正確性と文脈的関連性を示した。
• 要約、情報抽出、レポート生成など、多様な NLP タスクを、最小限のプロンプト工学で効果的に処理できた。
• 航空データセットにおけるデータクリーニングおよびインタラクティブなデータ探索の能力が顕著に向上した。
• キュレート済みの航空コーパスでの微調整により、事実の整合性が向上し、分野特化応答における「幻覚」が低減した。
• 分野特化ベンチマークにおいて、一般用途 LLM を上回る性能を示し、分野特化適応の価値を裏付けた。