[논문 리뷰] Towards Persona-Based Empathetic Conversational Models

Peixiang Zhong, Chen Zhang외 3명|arXiv (Cornell University)|2020. 04. 26.

Persona Design and Applications참고 문헌 42인용 수 10

한 줄 요약

이 논문은 대규모 다중 도메인 성격 기반 공감 대화 데이터셋인 PEC 데이터셋을 소개하고, 공감 대화 성능을 높이기 위해 다중 히프 공atten션을 통합한 BERT 기반 응답 선택 모델인 CoBERT을 제안한다. 주요 기여는 성격이 공감 대화 능력에 미치는 영향을 처음으로 실증적으로 입증한 점으로, 특히 공감 대화 데이터로 훈련된 모델에서 성격이 공감 능력을 더욱 향상시킨다는 점을 입증하여 인간과 유사한 대화 시스템에서 성격과 공감의 측정 가능한 연관성을 확립한다.

ABSTRACT

Empathetic conversational models have been shown to improve user satisfaction and task outcomes in numerous domains. In Psychology, persona has been shown to be highly correlated to personality, which in turn influences empathy. In addition, our empirical analysis also suggests that persona plays an important role in empathetic conversations. To this end, we propose a new task towards persona-based empathetic conversations and present the first empirical study on the impact of persona on empathetic responding. Specifically, we first present a novel large-scale multi-domain dataset for persona-based empathetic conversations. We then propose CoBERT, an efficient BERT-based response selection model that obtains the state-of-the-art performance on our dataset. Finally, we conduct extensive experiments to investigate the impact of persona on empathetic responding. Notably, our results show that persona improves empathetic responding more when CoBERT is trained on empathetic conversations than non-empathetic ones, establishing an empirical link between persona and empathy in human conversations.

연구 동기 및 목표

• 대화형 AI에서 성격이 공감 대응에 미치는 영향을 조사하는 것.
• 성격과 공감을 모두 포함한 대규모 다중 도메인 데이터셋의 부족 문제를 해결하는 것.
• 성격을 활용하여 공감 응답 생성에 효과적이고 효율적인 응답 선택 모델을 개발하는 것.
• 성격이 공감 대화 훈련 환경에서 비공감 훈련 환경보다 더 높은 성능 향상 효과를 보이는지 실증적으로 검증하는 것.

제안 방법

• Reddit에서 수집한 대규모 다중 터닝 다중 도메인 데이터셋인 PEC 데이터셋을 제안하며, 발화자 성격과 공감 응답을 함께 주석 처리함.
• 문맥, 성격, 후보 응답 간의 깊은 맥락적 상호작용을 포착하기 위해 다중 히프 공atten션을 사용하는 BERT 기반 응답 선택 모델인 CoBERT를 설계함.
• 문맥, 성격, 응답 표현 간의 관련 정보를 동적으로 주의 집중할 수 있도록 공atten션 메커니즘을 구현함.
• 응답 선택을 최적화하기 위해 대조 학습 목표를 사용하여 CoBERT를 PEC 데이터셋에서 엔드 투 엔드로 훈련함.
• 검증 및 테스트 세트에서 R@1, R@5, R@10와 같은 표준 지표를 사용하여 모델 성능을 평가함.
• 성격 문장 길이의 영향과 새로운 화자에 대한 모델의 강건성 등을 평가하기 위해 추론 분석 및 아블레이션 연구를 수행함.

실험 결과

연구 질문

• RQ1 성격을 통합할 경우 대화 모델의 공감 응답 품질에 어떤 영향을 미치는가?
• RQ2 성격이 공감 대화 품질 향상에 기여하는 효과가 모델이 공감 대화 데이터로 훈련되었는지 여부에 따라 달라지는가?
• RQ3 훈련 중에 보지 못한 새로운 성격에 대해 모델이 얼마나 잘 일반화되는가?
• RQ4 성격 문장 수가 모델 성능, 추론 시간, 메모리 사용에 어떤 영향을 미치는가?
• RQ5 성격이 공감 응답의 정서적 톤과 적절성에 어떤 역할을 하는가?

주요 결과

• CoBERT는 Poly-encoder 및 기타 BERT 변형 모델을 능가하는 최신 기술 성능을 기록했으며, 10개의 성격 문장을 사용한 검증 세트에서 R@1이 46.2%를 기록함.
• 모델이 공감 대화 데이터로 훈련된 경우 성격이 공감 응답 능력을 더 크게 향상시키며, 이는 성격과 공감 간의 강력한 실증적 연관성을 시사함.
• 모델은 새로운 화자에 대한 성격에 대해 합리적인 수준의 일반화 성능을 보이며, 새로운 화자에 대한 테스트 예측에서 R@1이 43.2%를 기록함으로써 분포 외 성격에 대한 강건성을 입증함.
• 성격 문장 수가 많아질수록 성능 향상이 이루어지지만, BERT의 자기 주의 메커니즘이 기여하여 메모리 사용이 제곱법적으로 증가하므로 nP=10이 최적의 균형임을 확인함.
• 사례 연구를 통해 동일한 맥락에 대해 서로 다른 성격이 다른 공감 응답을 유도하는 것으로 확인되어, 성격이 정서적 톤과 관련성에 직접적인 영향을 미친다는 것을 입증함.
• 성격 정보가 포함된 경우 응답 선택 성능이 일관되게 향상되었으며, 성격 문장이 0개에서 10개로 증가할 경우 R@1이 5.9%p 상승함.