[논문 리뷰] Endowing Empathetic Conversational Models with Personas

Peixiang Zhong, Yan Zhu외 5명|arXiv (Cornell University)|2020. 04. 26.

Persona Design and Applications인용 수 5

한 줄 요약

이 논문은 인격 기반 공감 대화의 새로운 작업을 제안하며, 새로운 대규모 다중 도메인 데이터셋에서 최고 성능을 기록한 BERT 기반 응답 선택 모델인 CoBERT를 제시한다. 실험적으로 인격이 공감 대화 능력을 크게 향상시킴을 입증하며, 특히 공감 대화 데이터로 사전 훈련된 모델일 경우 그 효과가 두드러진다. 이는 인간과 유사한 대화에서 인격과 공감 간의 직접적인 연관성을 확립한다.

ABSTRACT

Empathetic conversational models have been shown to improve user satisfaction and task outcomes in numerous domains. In Psychology, persona has been shown to be highly correlated to personality, which in turn influences empathy. In addition, our empirical analysis also suggests that persona plays an important role in empathetic conversations. To this end, we propose a new task towards persona-based empathetic conversations and present the first empirical study on the impacts of persona on empathetic responding. Specifically, we first present a novel large-scale multi-domain dataset for persona-based empathetic conversations. We then propose CoBERT, an efficient BERT-based response selection model that obtains the state-of-the-art performance on our dataset. Finally, we conduct extensive experiments to investigate the impacts of persona on empathetic responding. Notably, our results show that persona improves empathetic responding more when CoBERT is trained on empathetic conversations than non-empathetic ones, establishing an empirical link between persona and empathy in human conversations.

연구 동기 및 목표

• 인격이 공감 대화 응답에서 수행하는 역할을 조사하는 것.
• 인격 기반 공감 대화를 위한 대규모 다중 도메인 데이터셋의 부족을 해결하는 것.
• 공감 대화에 특화된 최고 성능의 응답 선택 모델(CoBERT)을 개발하는 것.
• 인격이 공감 응답 생성에 미치는 영향을 실증적으로 검토하는 것.
• 인간 대화에서 인격과 공감 간의 데이터 기반 연관성을 확립하는 것.

제안 방법

• 저자들은 인격 기반 공감 대화 전용으로 대규모 다중 도메인 데이터셋을 구축한다.
• 저자들은 공감 대화의 응답 선택을 위해 미세조정된 BERT 기반 모델인 CoBERT를 제안한다.
• CoBERT는 BERT의 문맥적 임bedding을 활용하여 사용자 발화와 후보 응답를 모두 인코딩한다.
• 모델은 새로운 데이터셋에서 훈련되고 평가되며, 인격의 영향을 분리하기 위한 추상화 실험을 수행한다.
• 저자들은 공감 데이터와 비공감 데이터로 훈련한 모델의 성능을 비교하여 훈련 데이터 분포가 인격 효과에 미치는 영향을 평가한다.
• 자동 평가와 인간 평가를 활용하여 공감 응답 품질과 인격의 기여도를 측정한다.

실험 결과

연구 질문

• RQ1 인격을 통합할 경우 대화 모델의 공감 응답 품질에 어떤 영향을 미치는가?
• RQ2 인격이 공감 응답 생성에 효과적인지 여부가 훈련 데이터 분포에 따라 달라지는가?
• RQ3 BERT 기반 모델이 인격 기반 공감 응답 선택에서 최고 성능을 달성할 수 있는가?
• RQ4 공감 대화에서 인격 특징과 비인격 특징 간의 기여도는 각각 얼마나 되는가?
• RQ5 인간과 유사한 대화에서 인격과 공감 간에 측정 가능한 실증적 연관성이 존재하는가?

주요 결과

• 인격은 공감 응답 품질을 크게 향상시키며, 특히 공감 대화 데이터로 사전 훈련된 모델일 경우 그 효과가 두드러진다.
• CoBERT는 제안된 데이터셋에서 최고 성능을 기록하며, 이전 모델보다 응답 선택에서 뛰어난 성능을 보였다.
• 인격이 공감에 미치는 긍정적 영향은 비공감 대화 데이터가 아닌 공감 대화 데이터로 사전 훈련된 모델일 경우 더욱 두드러진다.
• 실증 분석을 통해 인격이 공감 응답을 형성하는 데 핵심적인 역할을 함을 확인하였으며, 성격과 공감 간의 심리학적 연구 결과와 일치한다.
• 결과적으로 인간 대화에서 인격과 공감 간의 직접적이고 데이터 기반의 연관성을 확립하였으며, 공감 모델링에서 인격의 중요성을 입증하였다.