[논문 리뷰] MediaGPT : A Large Language Model For Chinese Media

Zhonghao Wang, Lu, Zijia외 2명|arXiv (Cornell University)|2023. 07. 20.

Topic ModelingComputer Science인용 수 3

한 줄 요약

MediaGPT는 중국 미디어 도메인을 위한 특화된 대규모 언어 모델로, 정제된 미디어 전용 데이터셋과 전문가가 작성한 지시 데이터를 활용하여 뉴스 요약, 제목 생성, 콘텐츠 분류와 같은 작업에서 성능을 향상시켰다. 특화된 프롬프트 엔지니어링과 도메인 적응형 피니테인딩을 통해 일반 목적의 LLM보다 중국 미디어 벤치마크에서 뛰어난 성능을 보였다.

ABSTRACT

Large language models (LLMs) have shown remarkable capabilities in generating high-quality text and making predictions based on large amounts of data, including the media domain. However, in practical applications, the differences between the media's use cases and the general-purpose applications of LLMs have become increasingly apparent, especially Chinese. This paper examines the unique characteristics of media-domain-specific LLMs compared to general LLMs, designed a diverse set of task instruction types to cater the specific requirements of the domain and constructed unique datasets that are tailored to the media domain. Based on these, we proposed MediaGPT, a domain-specific LLM for the Chinese media domain, training by domain-specific data and experts SFT data. By performing human experts evaluation and strong model evaluation on a validation set, this paper demonstrated that MediaGPT outperforms mainstream models on various Chinese media domain tasks and verifies the importance of domain data and domain-defined prompt types for building an effective domain-specific LLM.

연구 동기 및 목표

• 일반 목적의 LLM과 중국 미디어 응용 분야의 고유한 요구사항 간 격차를 해소하기 위해.
• 뉴스 작성 및 콘텐츠 편집과 같은 미디어 도메인 워크플로우에 맞는 작업별 지시 유형을 설계하기 위해.
• 중국 미디어 환경에서의 훈련 및 평가를 위한 고품질의 도메인 전용 데이터셋을 구축하기 위해.
• 도메인 전용 데이터와 프롬프트 엔지니어링이 LLM의 미디어 작업 성능 향상에 기여하는지 입증하기 위해.
• 인간 평가 및 자동화된 평가를 통해 MediaGPT가 주류 모델보다 뛰어난 성능을 보임을 검증하기 위해.

제안 방법

• 도메인 전용 중국 미디어 텍스트와 전문가가 작성한 지시 데이터(SFT)를 조합하여 기본 LLM을 피니테인딩했다.
• 실제 미디어 워크플로우를 반영한 다양한 작업별 지시 템플릿을 설계하여 제목 생성 및 콘텐츠 요약과 같은 작업을 지원했다.
• 중국 미디어 자료에서 수집한 뉴스 기사, 전문 기고문, 미디어 제작 로그를 포함한 정제된 데이터셋을 구축했다.
• 전문가가 작성한 예시를 활용한 감독형 피니테인딩(SFT)을 적용하여 모델 출력이 전문 미디어 기준에 부합하도록 유도했다.
• 검증 세트에서 인간 평가와 자동 벤치마킹을 실시하여 여러 미디어 작업의 성능을 평가했다.
• 도메인 데이터와 전문가 피드백을 통합한 다단계 훈련 파이프라인을 활용하여 출력 품질과 관련성 향상을 도모했다.

실험 결과

연구 질문

• RQ1 중국 미디어 데이터로 훈련된 도메인 특화 LLM은 일반 목적의 LLM과 비교해 어떤가?
• RQ2 도메인 정의된 프롬프트 템플릿은 미디어 전용 생성 및 이해 작업에서 모델 성능을 얼마나 향상시키는가?
• RQ3 전문가가 작성한 지시 데이터는 전문 미디어 환경에서 LLM 출력의 품질과 관련성 향상에 상당한 기여를 할 수 있는가?
• RQ4 도메인 전용 데이터와 일반 도메인 사전 훈련 간의 영향은 후속 미디어 작업 성능에 어떤 영향을 미치는가?
• RQ5 인간 평가에서 MediaGPT는 유창성, 정확성, 전문성 측면에서 최신 기술 모델 대비 어떻게 성능을 발휘하는가?

주요 결과

• MediaGPT는 뉴스 요약 및 제목 생성과 같은 여러 중국 미디어 벤치마크 작업에서 주류 일반 목적 LLM을 능가했다.
• 도메인 전용 지시 템플릿을 사용함으로써 일반 프롬프트 대비 출력 품질과 작업 일치도가 명확히 향상되었다.
• 인간 평가 결과, 도메인 전문가들이 MediaGPT의 출력을 유창성, 논리적 일관성, 전문적인 어조 측면에서 유의미하게 높게 평가했다.
• 전문가가 작성한 SFT 데이터로의 피니테인딩은 모델 신뢰도를 향상시키고 뉴스 콘텐츠 생성 시 환각 현상을 감소시켰다.
• 미리 보지 않은 미디어 작업에 대해 강력한 zero-shot 및 few-shot 일반화 성능을 보이며 분포 이탈에 대한 내구성을 입증했다.
• 도메인 전용 데이터와 전문가가 설계한 프롬프트 설계의 조합이 미디어 전용 벤치마크에서 뛰어난 성능을 달성하는 데 핵심이 되었다.