[논문 리뷰] CAiRE: An Empathetic Neural Chatbot

Zhaojiang Lin, Peng Xu외 5명|arXiv (Cornell University)|2019. 07. 28.

Topic Modeling참고 문헌 25인용 수 25

한 줄 요약

CAiRE는 응답 언어 모델링, 응답 예측, 대화 정서 검출의 세 가지 다중 작업 목표를 통해 대규모 사전 훈련된 언어 모델을 미세 조정하는 엔드 투 엔드 공감 신경 대화보이입니다. 이는 에너제틱 대화 데이터셋에서 최신 기술 성능을 달성하여 응답 퍼즐러비티, BLEU 점수, 정서 분류 정확도에서 이전 모델을 능가합니다.

ABSTRACT

In this paper, we present an end-to-end empathetic conversation agent CAiRE. Our system adapts TransferTransfo (Wolf et al., 2019) learning approach that fine-tunes a large-scale pre-trained language model with multi-task objectives: response language modeling, response prediction and dialogue emotion detection. We evaluate our model on the recently proposed empathetic-dialogues dataset (Rashkin et al., 2019), the experiment results show that CAiRE achieves state-of-the-art performance on dialogue emotion detection and empathetic response generation.

연구 동기 및 목표

• 자연적인 대화에서 사용자 정서를 이해하고 응답할 수 있는 엔드 투 엔드 공감 대화보이를 개발하는 것.
• 대규모 사전 훈련과 다중 작업 미세 조정을 통해 공감 대화 시스템에서 데이터 희소성과 모델 용량의 한계를 해결하는 것.
• 유창성, 관련성, 정서적 적절성을 동시에 최적화하여 응답 생성 품질을 향상시키는 것.
• 사용자 피드백을 통한 능동적 학습을 통해 악성 또는 부적절한 응답을 지속적으로 개선할 수 있도록 하는 것.

제안 방법

• BooksCorpus 데이터셋을 사용하여 대규모 사전 훈련된 언어 모델에 대해 생성형 사전 훈련된 트랜스포머(GPT)를 미세 조정합니다.
• 응답 언어 모델링, 응답 예측, 대화 정서 검출의 세 가지 목표를 가진 다중 작업 학습 프레임워크를 도입합니다.
• 가중치 합을 사용한 손실 함수: $\mathcal{L} = \alpha\mathcal{L}_{L} + \mathcal{L}_{S} + \mathcal{L}_{E}$로 응답 생성과 정서 분류를 통합합니다.
• 사전 훈련을 통해 17억 개의 Reddit 대화 데이터를 활용하여 경량 대화 능력을 향상시킨 후, 공감 대화 데이터셋에서 미세 조정을 수행합니다.
• 사용자가 악성 응답을 신고하고 개선된 응답을 제안할 수 있도록 웹 기반 인터페이스를 도입한 능동적 학습을 구현합니다.
• 사용자 수정 응답에 기반한 모방 학습을 적용하여 악성 행동을 완화하고 시간이 지남에 따라 윤리적 일치도를 향상시킵니다.

실험 결과

연구 질문

• RQ1 단일 엔드 투 엔드 모델이 공감 응답 생성과 대화 정서 검출을 동시에 최적화할 수 있는가?
• RQ2 정서 검출을 포함한 다중 작업 학습이 공감 대화에서 응답 품질과 일관성에 어떻게 기여하는가?
• RQ3 대규모 대화 데이터에서의 사전 훈련이 더 작은 전문화된 공감 대화 데이터셋에서의 성능에 얼마나 기여하는가?
• RQ4 사용자 피드백과 능동적 학습이 신경 대화보이에서 악성 또는 부적절한 응답을 효과적으로 줄일 수 있는가?
• RQ5 생성 과정 중 정서 검출을 통합하면 더 정서적으로 적절하고 맥락에 부합하는 응답이 만들어지는가?

주요 결과

• CAiRE는 에너제틱 대화 데이터셋에서 응답 퍼즐러비티 13.32를 달성하여 다음으로 우수한 모델(19.05)을 크게 능가합니다.
• 모델은 평균 BLEU 점수 7.03을 기록하여 모든 기준 모델을 초월했으며, 이는 ENSEM-DM이 기록한 다음으로 높은 점수인 6.83를 상회합니다.
• CAiRE는 정서 분류 정확도 0.516을 확보하여 이전 방법들에 비해 정서 검출 성능이 뛰어나다는 것을 입증합니다.
• 시스템은 8개의 GPU에서 2초 간격의 요청을 처리하면서 50명 이상의 동시 사용자를 지원하여 높은 확장성과 효율적인 GPU 활용도를 보입니다.
• 사용자 피드백 기반 능동적 학습은 악성 응답을 성공적으로 감소시켰으며, 모방 학습을 통해 시간이 지남에 따라 윤리적 일치도가 향상되었습니다.
• 정서 검출을 다중 작업 목표로 통합함으로써 자동 평가 지표와 사용자 상호작용을 통해 더 공감적이고 맥락에 부합하는 응답이 생성됨을 검증했습니다.