[논문 리뷰] TrafficSafetyGPT: Tuning a Pre-trained Large Language Model to a Domain-Specific Expert in Transportation Safety

Ou Zheng, Mohamed Abdel‐Aty외 3명|arXiv (Cornell University)|2023. 07. 28.

Topic Modeling인용 수 10

한 줄 요약

TrafficSafetyGPT는 교통 안전 작업을 위한 대형 언어 모델을 특화시키기 위해 TrafficSafety-2K 데이터셋으로 미세 조정된 LLAMA 기반 모델입니다.

ABSTRACT

Large Language Models (LLMs) have shown remarkable effectiveness in various general-domain natural language processing (NLP) tasks. However, their performance in transportation safety domain tasks has been suboptimal, primarily attributed to the requirement for specialized transportation safety expertise in generating accurate responses [1]. To address this challenge, we introduce TrafficSafetyGPT, a novel LLAMA-based model, which has undergone supervised fine-tuning using TrafficSafety-2K dataset which has human labels from government produced guiding books and ChatGPT-generated instruction-output pairs. Our proposed TrafficSafetyGPT model and TrafficSafety-2K train dataset are accessible at https://github.com/ozheng1993/TrafficSafetyGPT.

연구 동기 및 목표

• 교통 안전 NLP 작업에서 도메인 특화 전문 지식의 필요성을 동기 부여한다.
• 교통 맥 context에서 정확하고 안전 지향적인 응답을 생성하도록 도메인 튜닝된 LLM 개발.
• 정부 자원과 ChatGPT가 생성한 쌍에서 파생된 라벨링된 데이터셋(TrafficSafety-2K)을 구축하고 공개하여 감독식 미세 조정을 가능하게 한다.

제안 방법

• 사전 훈련된 LLAMA 기반 모델을 기초로 사용한다.
• 정부 가이드북의 사람 라벨링 콘텐츠와 ChatGPT가 생성한 지시-출력 쌍을 모아 TrafficSafety-2K를 구성한다.
• 교통 안전 지식에 맞추기 위해 감독식 미세 조정을 적용한다.
• 접근 가능한 URL을 통해 TrafficSafetyGPT 모델과 TrafficSafety-2K 데이터셋을 공개적으로 제공한다.

실험 결과

연구 질문

• RQ1 도메인 특화 데이터에 대한 감독식 미세 조정이 일반 도메인 LLM과 비교해 교통 안전 추론 및 응답 품질을 향상시킬 수 있는가?
• RQ2 정부 가이드북 콘텐츠와 ChatGPT가 생성한 지시를 결합하는 것이 안전에 민감한 작업에서 모델 성능에 미치는 영향은 무엇인가?
• RQ3 결과물인 TrafficSafetyGPT를 연구자들이 재현하고 확장하기에 쉽게 접근 가능합니까?

주요 결과

• TrafficSafetyGPT는 교통 안전을 위한 도메인 특화 전문 모델로 개발되었다.
• 훈련은 정부 가이드북 콘텐츠와 ChatGPT가 생성한 지시-출력 쌍으로 구성된 TrafficSafety-2K 데이터셋을 사용한다.
• 모델과 TrafficSafety-2K 데이터셋은 제공된 URL에서 접근 가능하게 만들어진다.