[논문 리뷰] HappyBot: Generating Empathetic Dialogue Responses by Improving User Experience Look-ahead

Jamin Shin, Peng Xu외 2명|arXiv (Cornell University)|2019. 06. 20.

Topic Modeling참고 문헌 31인용 수 42

한 줄 요약

이 논문은 사용자가 응답을 수신한 후 어떻게 느낄지를 사전 예측하는 감정 상태 전망(사전 감정 예측)을 통해 공감적 대화 응답 생성을 향상시키는 HappyBot이라는 신경망 대화 모델을 제안한다. 사용자 감정 전망을 추정하는 감정 예측 모델을 훈련시켜 이를 강화학습 보상으로 사용함으로써, HappyBot은 더 공감적이고 관련성 있으며 유창한 응답을 생성하며, 인간 평가에서 기존 모델들을 능가한다.

ABSTRACT

Recent neural conversation models that attempted to incorporate emotion and generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. While these approaches have been successful to some extent in generating more diverse and seemingly engaging utterances, they do not factor in how the user would feel towards the generated dialogue response. Hence, in this paper, we advocate such look-ahead of user emotion as the key to modeling and generating empathetic dialogue responses. We thus train a Sentiment Predictor to estimate the user sentiment look-ahead towards the generated system responses, which is then used as the reward function for generating more empathetic responses. Human evaluation results show that our model outperforms other baselines in empathy, relevance, and fluency.

연구 동기 및 목표

• 기존 공감적 대화 모델이 생성된 응답에 대한 사용자 감정 반응을 예측하지 못하는 한계를 해결하기 위해.
• 현재 감정 상태에만 반응하는 것이 아니라, 응답의 감정적 영향을 사전에 모델링하여 사용자 경험을 향상시키기 위해.
• 응답이 관련성 있고 유창할 뿐 아니라 감정적으로 지지하고 공감하는 성향을 갖도록 하는 방법을 개발하기 위해.
• 감정 전망을 보상 신호로 사용할 경우, 공감적 대화 시스템 훈련의 효과성을 평가하기 위해.

제안 방법

• 사용자가 시스템에서 생성된 응답을 수신한 후 기대되는 감정 상태(사용자 감정 전망)를 추정하기 위해 감정 예측 모델을 훈련한다.
• 예측된 감정 상태를 강화학습의 보상 신호로 사용하여 응답 생성을 최적화한다.
• 감정 전망 보상을 순차적 대화 생성 프레임워크에 통합한다.
• 감정 전망을 주요 목적함수로 삼아 정책 그래เดียน트 방법을 사용해 응답 생성기를 미세조정한다.
• 응답 생성기와 감정 예측 모델의 백본으로 사전 훈련된 언어 모델을 활용한다.
• 응답이 맥락적으로 관련성이 있을 뿐 아니라 사용자에게 감정적으로 유익한 결과를 내도록 보장한다.

실험 결과

연구 질문

• RQ1 사용자 감정 전망을 예측하는 것이 생성된 대화 응답의 공감 능력을 향상시킬 수 있는가?
• RQ2 사용자 감정 예측을 통합할 경우, 기존 모델 대비 응답의 유창성과 관련성은 어떻게 영향을 받는가?
• RQ3 감정 전망을 보상 신호로 사용할 경우, 인간 평가에서 더 감정적으로 지지적인 응답이 생성되는가?
• RQ4 현재 사용자 감정에 기반하거나 고정된 감정 레이블을 사용하는 기존 모델과 비교해 HappyBot의 성능은 어떠한가?

주요 결과

• HappyBot은 인간 평가에서 공감성, 관련성, 유창성 측면에서 기존 기준 모델들을 능가한다.
• 감정 전망 예측 모델은 생성된 응답에 대한 사용자 감정 기대치를 성공적으로 포착한다.
• 감정 전망을 보상으로 사용할 경우, 더 감정지능이 높고 사용자 중심적인 대화 응답이 생성된다.
• 인간 평가자들은 HappyBot의 응답이 기준 모델의 응답보다 유의미하게 더 공감적인 것으로 평가했다.
• 모델는 유창성이나 일관성의 손실 없이 응답 품질이 향상됨을 보였다.
• 앞서 예측하는 감정 모델링 방식이 공감적 대화 생성에서 반응 중심 감정 조절보다 더 효과적임을 입증했다.