[논문 리뷰] I Know the Feeling: Learning to Converse with Empathy

Hannah Rashkin, Eric M. Smith외 2명|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling참고 문헌 20인용 수 31

한 줄 요약

이 논문은 25,000개의 정서적으로 기반을 둔 대화로 구성된 EmpatheticDialogues 데이터셋을 소개하고, 공감적 대화 생성을 위한 새로운 작업을 제안한다. 실시간으로 정서를 예측하고 반응하도록 모델을 훈련시킴으로써, 기준 모델에 비해 공감 능력, 관련성 및 BLEU 점수 모두 향상된다.

ABSTRACT

Beyond understanding what is being discussed, human communication requires an awareness of what someone is feeling. One challenge for dialogue agents is being able to recognize feelings in the conversation partner and reply accordingly, a key communicative skill that is trivial for humans. Research in this area is made difficult by the paucity of large-scale publicly available datasets both for emotion and relevant dialogues. This work proposes a new task for empathetic dialogue generation and EmpatheticDialogues, a dataset of 25k conversations grounded in emotional contexts to facilitate training and evaluating dialogue systems. Our experiments indicate that models explicitly leveraging emotion predictions from previous utterances are perceived to be more empathetic by human evaluators, while improving on other metrics as well (e.g. perceived relevance of responses, BLEU scores).

연구 동기 및 목표

• 공감적 대화 및 대화형 AI에서 정서 인식을 위한 대규모 공개 데이터셋의 부족을 해결한다.
• 대화 중 정서 상태를 인식하고 반응할 수 있는 대화 시스템을 위한 새로운 작업을 개발한다.
• 고품질의 정서적으로 기반을 둔 데이터셋을 구축하여 공감적 대화 모델의 훈련 및 평가를 지원한다.
• 정서적으로 적절하고 맥락적으로 관련성이 높은 응답을 생성하는 데 모델 성능을 향상시킨다.

제안 방법

• 25,000개의 인간이 작성한 대화에 명시적인 정서적 맥락을 추가로 표기하여 EmpatheticDialogues 데이터셋을 구성한다.
• 맥락 임bedding를 사용하여 이전 발화의 정서를 예측할 수 있도록 대화 모델을 훈련시킨다.
• 예측된 정서를 조건으로 삼아 공감적인 응답을 생성한다.
• 정서 인식 디코딩을 통한 세quence-to-sequence 모델의 미세조정을 통해 응답의 관련성과 공감 능력을 향상시킨다.
• BLEU와 같은 자동 평가 지표와 인간 평가를 활용하여 응답 품질과 공감 능력을 평가한다.
• 정서 예측 기능이 있는 모델과 없는 모델을 비교하여 정서 인식이 응답 품질에 미치는 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 정서적으로 기반을 둔 대화 데이터로 훈련된 모델은 인간 평가자들로부터 더 높은 공감 능력을 인식받을 수 있는가?
• RQ2 이전 발화에서의 정서 예측을 통합할 경우, 응답의 관련성과 유창성에 어떤 영향을 미치는가?
• RQ3 대규모 정서 태그가 부여된 데이터셋을 사용할 경우, 공감적 대화에서의 모델 성능 향상 정도는 어느 정도인가?
• RQ4 정서 맥락을 명시적으로 활용하는 모델은 자동 평가 지표와 인간 평가 지표 양 측면에서 기준 모델을 초월하는가?

주요 결과

• 이전 발화의 예측된 정서를 활용한 모델은 인간 평가자들로부터 유의미하게 더 높은 공감 능력 평가를 받는다.
• 제안된 방법은 BLEU 점수를 포함한 자동 평가 지표를 향상시켜 응답의 유창성과 커버리지 향상을 나타낸다.
• 모델이 대화 이력에서 예측된 정서 상태를 조건으로 삼을 경우, 응답의 관련성이 향상된다.
• EmpatheticDialogues 데이터셋은 기준 모델 대비 일관되고 측정 가능한 공감적 대화 생성 향상을 가능하게 한다.
• 인간 평가 결과, 정서 인식 모델은 더 맥락적으로 적절하고 정서적으로 반응하는 응답을 생성함을 확인할 수 있다.
• 생성 파이프라인에 정서 예측 기능을 통합함으로써, 응답 품질을 희생시키지 않은 채 인식된 공감 능력 향상 효과를 측정할 수 있다.