[논문 리뷰] PanGu-Bot: Efficient Generative Dialogue Pre-training from Pre-trained Language Model

Fei Mi, Yitong Li외 8명|arXiv (Cornell University)|2022. 03. 31.

Topic Modeling인용 수 13

한 줄 요약

PANGU-BOT는 100만 개의 고품질 대화 발화만을 사용하여 대규모 사전 훈련된 언어 모델 PANGU-α에서 미세조정한 중국어 오픈도메인 대화 모델로, 훨씬 적은 데이터 및 계산 자원으로도 최신 기술 수준의 성능을 달성하여 응답 품질, 지식 정확성, 안전성 측면에서 뛰어난 성능을 보이며, 추가 훈련 없이도 감정 조건부 응답을 생성할 수 있다.

ABSTRACT

In this paper, we introduce PanGu-Bot, a Chinese pre-trained open-domain dialogue generation model based on a large pre-trained language model (PLM) PANGU-alpha (Zeng et al.,2021). Different from other pre-trained dialogue models trained over a massive amount of dialogue data from scratch, we aim to build a powerful dialogue model with relatively fewer data and computation costs by inheriting valuable language capabilities and knowledge from PLMs. To this end, we train PanGu-Bot from the large PLM PANGU-alpha, which has been proven well-performed on a variety of Chinese natural language tasks. We investigate different aspects of responses generated by PanGu-Bot, including response quality, knowledge, and safety. We show that PanGu-Bot outperforms state-of-the-art Chinese dialogue systems (CDIALGPT (Wang et al., 2020), EVA (Zhou et al., 2021), EVA2.0 (Gu et al., 2022)) w.r.t. the above three aspects. We also demonstrate that PanGu-Bot can be easily deployed to generate emotional responses without further training. Throughout our empirical analysis, we also point out that the PanGu-Bot response quality, knowledge correctness, and safety are still far from perfect, and further explorations are indispensable to building reliable and smart dialogue systems. Our model and code will be available at https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/PanGu-Bot soon.

연구 동기 및 목표

• 사전 훈련된 언어 모델을 활용하여 오픈도메인 대화 시스템을 훈련할 때 데이터 및 계산 비용을 줄이는 것.
• 거대하고 노이즈가 많은 온라인 데이터 대신 소규모이지만 정제된 대화 데이터셋으로도 고품질의 대화 성능을 달성할 수 있는지 조사하는 것.
• 대화 시스템의 핵심 요소인 응답 품질, 지식 정확성, 안전성, 감정 반응 생성 능력을 평가하고 향상시키는 것.
• 대규모 사전 훈련된 모델이 재훈련 없이도 지식과 언어 능력을 대화 생성에 유전 및 전이할 수 있는지 탐색하는 것.

제안 방법

• 정제된 1억 턴 대화 데이터셋을 사용해 2000억 파라미터의 PANGU-α 언어 모델을 미세조정하여 3.5억 및 26억 파라미터 버전 두 개를 생성하는 것.
• 사용자 입력 뒤에 "생성高兴的回复" (행복한 응답 생성) 와 같은 지시 토큰을 붙여 감정 조건부 응답을 유도하는 프롬프트 기반 미세조정 전략을 사용하는 것.
• PANGU-α가 이미 지닌 지식과 언어 능력을 활용하여 대화 전용 대규모 사전 훈련의 필요성을 줄이는 것.
• 자동 평가 지표(예: BLEU, ROUGE, BERTScore)와 인간 평가를 통해 응답 품질, 사실 정확성, 안전성 측정을 수행하는 것.
• 대응 프롬프팅을 적용하여 세 가지 범주(논란의 여지가 있는, 해로운, 모욕적인) 콘텐츠에 대한 응답 안전성을 테스트하는 것.
• 감정 전용 데이터에 대한 추가 훈련 없이도 제로샷 프롬프팅을 통해 감정 조건부 응답을 생성하는 것.

실험 결과

연구 질문

• RQ1 큰 사전 훈련된 언어 모델을 활용함으로써 소규모 고품질 대화 데이터셋만으로도 강력한 성능을 내는 대화 모델를 구현할 수 있는가?
• RQ2 사전 훈련된 언어 모델이 얼마나 잘 지식과 능력을 대화 생성에 유전하고 전이하여 환상적 응답을 줄이고 사실 정확성을 향상시킬 수 있는가?
• RQ3 PANGU-BOT의 안전성은 어뷰리얼 프롬프팅과 민감한 프롬프팅 조건에서 기존 중국어 대화 모델들과 비교해 어떻게 되는가?
• RQ4 감정 레이블이 부여된 데이터에 대한 추가 훈련 없이도 대화 모델이 감정에 맞는 적절한 응답을 생성할 수 있는가?
• RQ5 응답 품질, 지식, 안전성 측면에서 아직 해결이 필요한 잔여 과제는 무엇인가?

주요 결과

• PANGU-BOT는 인간 평가자들이 평가한 상식성, 구체성, 흥미로움 측면에서 CDialGPT, EVA, EVA2.0 등 최신 기술 수준의 중국어 대화 시스템을 능가하는 응답 품질을 보였다.
• 기준 모델 대비 환상적 응답 비율이 유의미하게 낮아, PANGU-α로부터 유전된 지식으로 인해 높은 지식 정확성을 확보했다.
• 감정 프롬프트(예: "생성高兴的回复")만으로도 감정 전용 데이터에 대한 추가 훈련 없이도 감정에 부합하는 응답을 생성할 수 있어 제로샷 감정 생성 능력을 입증했다.
• 강력한 성능에도 불구하고 PANGU-BOT는 여전히 어뷰리얼 프롬프팅 조건에서 뚜렷한 불안전한 응답 생성을 보이며, 모든 범주에서 높은 불안전 비율을 보였다.
• 2.6B 파라미터 버전의 PANGU-BOT는 "논란의 여지가 있는" 프롬프트에서는 EVA2.0보다 略로 뛰어난 성능을 보였지만, "해로운" 및 "모욕적인" 프롬프트에서는 더 낮은 안전성을 보이며 안전성 향상 여지가 있음을 시사했다.
• PANGU-BOT의 훈련은 초기 훈련 모델 대비 훨씬 적은 계산 자원을 요구하여 높은 훈련 효율성과 환경 친화성을 입증했다.