[논문 리뷰] Generating Empathetic Responses by Looking Ahead the User's Sentiment

Jamin Shin, Peng Xu외 2명|arXiv (Cornell University)|2019. 06. 20.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 유저의 응답 이후 미래 감정을 예측하고 최적화하여 공감적 대화 생성을 향상시키는 강화학습 프레임워크인 Sentiment Look-ahead를 제안한다. 응답이 유저의 정서 상태에 미치는 영향을 모델링함으로써, 다중 작업 학습 및 순차적-순차적 모델과 같은 기준 모델들보다 더 공감적이고 관련성 있고 유창한 응답을 생성한다.

ABSTRACT

An important aspect of human conversation difficult for machines is conversing with empathy, which is to understand the user's emotion and respond appropriately. Recent neural conversation models that attempted to generate empathetic responses either focused on conditioning the output to a given emotion, or incorporating the current user emotional state. However, these approaches do not factor in how the user would feel towards the generated response. Hence, in this paper, we propose Sentiment Look-ahead, which is a novel perspective for empathy that models the future user emotional state. In short, Sentiment Look-ahead is a reward function under a reinforcement learning framework that provides a higher reward to the generative model when the generated utterance improves the user's sentiment. We implement and evaluate three different possible implementations of sentiment look-ahead and empirically show that our proposed approach can generate significantly more empathetic, relevant, and fluent responses than other competitive baselines such as multitask learning.

연구 동기 및 목표

• 기존 신경망 대화 모델이 응답의 정서적 영향을 고려하지 못해 진정한 공감적 응답을 생성하는 데에 한계가 있음을 해결하기 위해.
• 현재 유저 감정에 기반하는 현재 접근 방식이 유저 감정을 개선하지 못함에도 불구하고 이를 보완하기 위해.
• 응답 이후 유저의 미래 정서 상태를 모델링함으로써 대화 시스템에서 공감의 새로운 시각을 제안하기 위해.
• 기존 방법들과 비교해 미래 감정을 최적화함으로써 더 공감적이고 관련성 있고 유창한 응답을 생성하는지 평가하기 위해.
• 강화학습을 통해 감정 사전 예측 보상 함수를 적용함으로써 정서적으로 지능적인 응답 생성의 효과성을 입증하기 위해.

제안 방법

• 미래 감정 예측에 기반한 보상 신호로 Sentiment Look-ahead를 강화학습 프레임워크의 보상 함수로 제안한다.
• 사전 훈련된 감정 분류기 $ g(\cdot) \in [0,1] $ 를 사용하여 다음 유저 전환의 긍정도를 추정함으로써 보상 신호를 제공한다.
• 미래 감정을 추정하는 방식에 따라 다름을 보이는 세 가지 유형의 Sentiment Look-ahead 보상(Forward, Improvement, Simulation)을 구현한다.
• 기대 향후 감정 점수를 최대화하도록 강화학습을 통해 정책 네트워크를 훈련시켜 응답을 생성한다.
• 대화 기록에 조건부로 작동하는 어텐션 기반 순차적-순차적 모델을 정책 모델로 사용하며, 정책 그래ient 방법을 통해 최적화한다.
• 자동 평가와 인간 평가를 통합하여 Seq2Seq, MultiSeq 및 최신 최고 수준의 모델과 같은 강력한 기준 모델들과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 현재 최고 수준의 모델들과 비교해 미래 유저 감정을 모델링함으로써 생성된 대화 응답의 공감성 향상 여부는 어떠한가?
• RQ2 다음 유저 전환의 예측 감정을 최적화하는 것이 더 관련성 있고 유창한 응답을 생성하는가?
• RQ3 Forward, Improvement, Simulation 등 Sentiment Look-ahead 보상의 다양한 구현 방식이 공감성, 유창성, 관련성 측면에서 성능에 어떻게 영향을 미치는가?
• RQ4 Sentiment Look-ahead로 훈련된 신경망 대화 모델이 인간이 생성한 공감적 응답과 얼마나 경쟁력을 갖는가?
• RQ5 예측된 미래 감정과 인간 평가의 공감성 간에 유의미한 상관관계가 존재하는가?

주요 결과

• Sentiment Look-ahead 보상의 Improvement 유형이 가장 높은 인간 평가 점수를 기록했으며, 다중 선택 테스트에서 공감성 0.24, 관련성 0.26, 유창성 0.12를 기록했다.
• 인간 응답과의 A/B 테스트에서 Improvement 모델은 공감성 측면에서 14%의 경우에서 더 낫다고 선택되었으며, 높은 동점률(37%)을 보여 인간 수준의 성능을 입증했다.
• 자동 평가에서 Improvement 모델은 모든 기준에서 기준 모델들을 뛰어넘었으며, 인간 응답과의 의미적 유사도가 세 가지 지표 모두에서 높았다.
• 인간 평가 결과, Improvement 모델은 가장 공감적이고 맥락적으로 관련된 응답을 생성했으며, 부정적인 경험을 무시하는 대신 긍정적인 기억을 묻는 등 효과적인 반응을 보였다.
• Forward 및 Simulation 유형은 성능이 낮게 나타나, 미래 감정을 추정하는 방식이 모델 성공에 결정적인 영향을 미친다는 점을 시사했다.
• 공감성에 대해 0.27, 관련성에 대해 0.20의 높은 Fleiss’ Kappa 점수는 인간 평가 설정의 신뢰성을 검증한다.