[논문 리뷰] Endowing Empathetic Dialogue Systems with Personas.

Peixiang Zhong, Yan Sun외 5명|arXiv (Cornell University)|2020. 04. 26.

Digital Mental Health Interventions참고 문헌 44인용 수 4

한 줄 요약

이 논문은 공감 대화 시스템에 성격 특성(persona)를 통합하기 위한 새로운 작업을 제안하며, 대규모 다중 도메인 데이터셋과 CoBERT라는 BERT 기반 응답 선택 모델을 제시한다. 이 모델은 최고 성능을 기록하며, 성격 특성이 공감 대화의 질을 높이는 데 기여함을 실증적으로 입증한다. 특히 모델이 공감 대화 데이터로 미리 훈련된 경우 성격 특성이 공감 능력 향상에 더 큰 영향을 미치며, 인간과 유사한 대화에서 성격 특성과 공감 능력 간의 직접적인 연관성을 확립한다.

ABSTRACT

Empathetic dialogue systems have been shown to improve user satisfaction and task outcomes in numerous domains. In Psychology, persona has been shown to be highly correlated to personality, which in turn influences empathy. In addition, our empirical analysis also suggests that persona plays an important role in empathetic dialogues. To this end, we propose a new task to endow empathetic dialogue systems with personas and present the first empirical study on the impacts of persona on empathetic responding. Specifically, we first present a novel large-scale multi-domain dataset for empathetic dialogues with personas. We then propose CoBERT, an efficient BERT-based response selection model that obtains the state-of-the-art performance on our dataset. Finally, we conduct extensive experiments to investigate the impacts of persona on empathetic responding. Notably, our results show that persona improves empathetic responding more when CoBERT is trained on empathetic dialogues than non-empathetic ones, establishing an empirical link between persona and empathy in human dialogues.

연구 동기 및 목표

• 심리학적 연구에서 성격 특성과 공감 능력 간의 연관성을 바탕으로, 성격 특성이 공감 대화 시스템에서 수행하는 역할을 탐구하는 것.
• 성격 특성 정보를 반영한 대규모 다중 도메인 공감 대화 데이터셋의 부족 문제를 해결하는 것.
• 공감 대화에서 응답 선택을 위한 효율적인 BERT 기반 모델(CoBERT)을 개발하는 것.
• 성격 특성이 공감 응답 생성 및 선택에 미치는 영향을 실증적으로 분석하는 것.
• 인간과 유사한 대화 시스템에서 성격 특성과 공감 능력 간의 데이터 기반 연관성을 확립하는 것.

제안 방법

• 저자들은 공감 대화를 포함하고 사용자 성격 특성 정보가 주석 처리된 대규모 다중 도메인 데이터셋을 구축한다.
• 저자들은 공감 대화에서 응답 선택을 최적화하기 위해 미세조정된 BERT 기반 모델인 CoBERT를 제안한다. 이 모델은 성격 특성 정보를 활용한다.
• CoBERT는 감정적 및 맥락적 일치를 바탕으로 응답 선택을 유도하기 위해 성격 특성 임베딩을 입력 표현에 통합한다.
• 모델은 신규로 제안된 데이터셋을 기반으로 훈련 및 평가되며, 성격 특성의 영향을 분리하기 위한 추론 실험을 수행한다.
• 공감 대화 데이터와 비공감 대화 데이터로 훈련한 모델의 성능을 비교하여 훈련 데이터 유형이 성격 특성의 효과에 미치는 영향을 평가한다.
• 이 프레임워크를 통해 응답의 관련성, 공감 능력, 감정 정확성에 대한 성격 특성의 영향을 통제된 방식으로 분석할 수 있다.

실험 결과

연구 질문

• RQ1 성격 특성 정보를 통합할 경우 대화 시스템의 공감 응답 품질에 어떤 영향을 미치는가?
• RQ2 공감 대화 데이터로 훈련할 경우 성격 특성이 응답 생성에 미치는 긍정적 영향이 증폭되는가?
• RQ3 다중 도메인 공감 대화 상황에서 성격 특성이 응답 선택에 얼마나 기여하는가?
• RQ4 CoBERT의 성능은 제안된 데이터셋에서 기존 모델과 비교해 어떻게 되는가?
• RQ5 인간과 유사한 대화에서 성격 특성과 공감 능력 간의 실증적 관계는 어떠한가?

주요 결과

• 성격 특성은 공감 응답 품질을 뚜렷이 향상시키며, 특히 비공감 데이터가 아닌 공감 데이터로 훈련된 모델일 경우 더욱 두드러진다.
• CoBERT는 제안된 데이터셋에서 최고 성능을 기록하며, 성격 특성 통합이 가능한 BERT 기반 아키텍처의 효과성을 입증한다.
• 성격 특성의 통합은 자동 평가 및 인간 평가를 통해 확인된 바와 같이 맥락적이고 감정적으로 적절한 응답을 유도한다.
• 공감 대화 데이터로 훈련된 모델은 비공감 데이터로 훈련된 모델보다 성격 특성과 공감 응답 품질 간의 상관관계가 더 강하게 나타난다.
• 본 연구는 인간과 유사한 대화 시스템에서 성격 특성과 공감 능력 간의 직접적인 실증적 연관성을 확립하며, 공감 AI 시스템에서 성격 특성의 심리학적 관련성을 뒷받침한다.