[論文レビュー] TrafficSafetyGPT: Tuning a Pre-trained Large Language Model to a Domain-Specific Expert in Transportation Safety

Ou Zheng, Mohamed Abdel‐Aty+3 more|arXiv (Cornell University)|Jul 28, 2023

Topic Modeling被引用数 10

ひとこと要約

TrafficSafetyGPT は、TrafficSafety-2K データセットでファインチューニングされた LLAMA ベースのモデルで、交通安全タスクのために大型言語モデルを特化させます。

ABSTRACT

Large Language Models (LLMs) have shown remarkable effectiveness in various general-domain natural language processing (NLP) tasks. However, their performance in transportation safety domain tasks has been suboptimal, primarily attributed to the requirement for specialized transportation safety expertise in generating accurate responses [1]. To address this challenge, we introduce TrafficSafetyGPT, a novel LLAMA-based model, which has undergone supervised fine-tuning using TrafficSafety-2K dataset which has human labels from government produced guiding books and ChatGPT-generated instruction-output pairs. Our proposed TrafficSafetyGPT model and TrafficSafety-2K train dataset are accessible at https://github.com/ozheng1993/TrafficSafetyGPT.

研究の動機と目的

• 交通安全の NLP タスクにおけるドメイン固有の専門知識の必要性を喚起する。
• 交通文脈で正確かつ安全性を重視した応答を生成するドメイン調整済み LLM の開発。
• 政府資源と ChatGPT 生成のペアに由来するラベル付きデータセット（TrafficSafety-2K）を作成・公開し、監督付きファインチューニングを可能にする。

提案手法

• 事前学習済みの LLAMA ベースモデルをベースとして使用する。
• 人間がラベル付けした政府が指示する書籍内容と ChatGPT 生成の指示–出力ペアを統合して TrafficSafety-2K を構築する。
• 交通安全知識にモデルを合わせるために監督付きファインチューニングを適用する。
• アクセス可能な URL を通じて TrafficSafetyGPT モデルと TrafficSafety-2K データセットを公開提供する。

実験結果

リサーチクエスチョン

• RQ1 一般ドメインの LLM と比較して、ドメイン特化データでの監督付きファインチューニングは交通安全の推論と応答品質を改善できるか？
• RQ2 政府案内書籍の内容と ChatGPT 生成の指示を組み合わせた場合、重要な安全タスクにおけるモデル性能へ与える影響は何か？
• RQ3 得られた TrafficSafetyGPT は研究者が再現し、発展させるのに容易にアクセス可能か？

主な発見

• TrafficSafetyGPT は交通安全のためのドメイン特化型エキスパートモデルとして開発されている。
• 訓練には政府が案内する書籍内容と ChatGPT が生成した指示–出力ペアからなる TrafficSafety-2K データセットを使用している。
• モデルと TrafficSafety-2K データセットは提供された URL で公開されている。