[논문 리뷰] CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning

Jiun-Hao Jhan, Chao-Peng Liu외 2명|arXiv (Cornell University)|2021. 10. 08.

AI in Service Interactions참고 문헌 27인용 수 8

한 줄 요약

CheerBots는 향후 사용자 정서 상태 변화를 모델링하기 위해 개념적 인간 모델(Conceptual Human Model, CHM)을 활용하는 강화학습 프레임워크를 도입하여 정서적 공감 능력을 향상시키는 챗봇을 훈련시킨다. 이 방법은 자동 평가 지표와 인간 평가 모두에서 베이스라인을 능가하며, 검색 기반 및 생성 기반 모델에서 깊이 있는 강화학습 미세조정을 통해 상호적 이타주의를 최적화함으로써 EmpatheticDialogues 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Apart from the coherence and fluency of responses, an empathetic chatbot emphasizes more on people's feelings. By considering altruistic behaviors between human interaction, empathetic chatbots enable people to get a better interactive and supportive experience. This study presents a framework whereby several empathetic chatbots are based on understanding users' implied feelings and replying empathetically for multiple dialogue turns. We call these chatbots CheerBots. CheerBots can be retrieval-based or generative-based and were finetuned by deep reinforcement learning. To respond in an empathetic way, we develop a simulating agent, a Conceptual Human Model, as aids for CheerBots in training with considerations on changes in user's emotional states in the future to arouse sympathy. Finally, automatic metrics and human rating results demonstrate that CheerBots outperform other baseline chatbots and achieves reciprocal altruism. The code and the pre-trained models will be made available.

연구 동기 및 목표

• 사용자의 암시된 정서 상태에 반응함으로써 일관성과 유창성 이상의 정서적 공감 능력을 갖춘 챗봇을 개발하기 위해.
• 기존 정서적 공감 챗봇이 대화 중 향후 정서 상태 변화와 이타적 행동을 모델링하지 못하는 한계를 해결하기 위해.
• 검색 기반 및 생성 기반 챗봇을 깊이 있는 강화학습을 통해 정서적 공감 강화를 최적화하도록 훈련하기 위해.
• 자동 평가 지표와 인간 선호도 평가를 통해 프레임워크의 효과성을 평가하기 위해.
• 챗봇이 감정을 인식하는 것뿐만 아니라 사용자의 정서 상태를 시간이 지남에 따라 향상시키는 응답을 생성하도록 보장하기 위해.

제안 방법

• 사용자의 향후 정서 상태 변화를 예측하기 위한 시뮬레이션 에이전트로 개념적 인간 모델(Conceptual Human Model, CHM)을 도입하여 챗봇이 사전에 정서적 공감 행동을 취할 수 있도록 한다.
• 감정 컨트롤러는 입력된 맥락을 기반으로 사용자의 다음 정서 상태를 감지하고 예측하며, 강화학습으로 미세조정된 감정 예측 모델을 사용한다.
• 응답 생성기는 예측된 감정을 조건으로 하여 검색 또는 시퀀스 생성 방식을 사용해 정서적 공감 능력을 갖춘 응답을 생성한다.
• 공감의 강도 지표는 발화자와 听자 간의 정서 상태 변화로 정의되며, 긍정적 변화를 강화하기 위해 깊이 있는 강화학습을 통해 최적화된다.
• 프레임워크는 발화자-청자 아키텍처를 채택하며, 각각 다른 목표를 가진다: CheerBot(청자)는 공감 강도를 증가시키는 것을 목표로 하고, CHM는 사용자 응답 동역학을 시뮬레이션한다.
• 강화학습은 사용자의 정서 향상에 중점을 두는 보상 함수를 사용하며, 확률 추정치가 아닌 피드백을 기반으로 측정된다.

실험 결과

연구 질문

• RQ1 강화학습으로 훈련된 챗봇이 사용자의 향후 정서 상태 변화를 예측함으로써 더 높은 공감 능력을 달성할 수 있는가?
• RQ2 개념적 인간 모델(Conceptual Human Model)을 통해 상호적 이타주의를 모델링하면 챗봇의 정서적 공감 능력이 어떻게 향상되는가?
• RQ3 검색 기반 및 생성 기반 CheerBots가 자동 평가 지표와 인간 평가 모두에서 베이스라인 모델을 초월하는가?
• RQ4 딥 러닝 기반 강화학습 미세조정이 챗봇이 사용자의 정서 상태를 향상시키는 데 얼마나 높은 능력을 갖추는가?
• RQ5 공감 강화 메커니즘이 다양한 정서적 맥락과 대화 턴에 걸쳐 강인한가?

주요 결과

• DQN-Finetuned 검색 모델이 가장 높은 인간 선호도 점수를 기록했으며, 모든 다른 모델과 비교한 대비쌍 t-검정에서 p-값이 0.05 이하로 통계적으로 유의미하다.
• 인간 평가자들은 DQN-Finetuned 검색 모델의 응답을 가장 정서적 공감 능력이 뛰어나다고 선호했으며, 참가자 절반 이상이 이 모델을 다른 모델보다 우선 선택했다.
• PG-EmoPrepend 생성 모델은 지표 응답과 가장 유사한 BLEU 점수를 기록하여 높은 응답의 자연스러움과 관련성의 정도를 보였다.
• 딥 러닝 기반 강화학습으로 미세조정된 모델은 자동 평가 지표와 인간 평가 모두에서 비-RL 기반 베이스라인을 뚜렷이 능가했으며, 정서적 공감 능력 향상이 확인되었다.
• 인간 선호도 평가에서 검색 기반 CheerBots가 생성 기반 모델보다 일관되게 높은 성능을 보였으며, 이는 검색 방식이 정서적 의도를 더 잘 유지할 수 있음을 시사한다.
• 프레임워크는 강화학습과 CHM 시뮬레이션을 통해 공감 강도 최적화를 통해 EmpatheticDialogues 데이터셋에서 최신 기술 수준(SOTA) 성능을 성공적으로 달성했다.