[논문 리뷰] EmpDG: Multiresolution Interactive Empathetic Dialogue Generation

Qintong Li, Hongshen Chen외 4명|arXiv (Cornell University)|2019. 11. 20.

Topic Modeling참고 문헌 62인용 수 11

한 줄 요약

이 논문은 다중 해상도 적대적 모델인 EmpDG를 제안하며, 대화 수준의 거시적 감정과 토큰 수준의 미세 감정을 동시에 모델링하여 응답의 감정 뉘앙스를 향상시킨다. 또한 사용자 피드백을 활용한 상호작용적 적대적 프레임워크를 도입하여 감정 인지 능력을 향상시켜, EmpathicDialogues 데이터셋에서 콘텐츠 품질과 공감 메트릭 모두에서 최신 기준 모델들을 뛰어넘는 성능을 달성한다.

ABSTRACT

A humanized dialogue system is expected to generate empathetic replies, which should be sensitive to the users' expressed emotion. The task of empathetic dialogue generation is proposed to address this problem. The essential challenges lie in accurately capturing the nuances of human emotion and considering the potential of user feedback, which are overlooked by the majority of existing work. In response to this problem, we propose a multi-resolution adversarial model -- EmpDG, to generate more empathetic responses. EmpDG exploits both the coarse-grained dialogue-level and fine-grained token-level emotions, the latter of which helps to better capture the nuances of user emotion. In addition, we introduce an interactive adversarial learning framework which exploits the user feedback, to identify whether the generated responses evoke emotion perceptivity in dialogues. Experimental results show that the proposed approach significantly outperforms the state-of-the-art baselines in both content quality and emotion perceptivity.

연구 동기 및 목표

• 기존 모델이 대화 생성에서 인간의 감정 뉘앙스를 포착하는 데에 한계가 있음을 해결하기 위해.
• 사용자 피드백을 동적 신호로 통합하여 생성된 응답의 감정 인지 능력을 향상시키기 위해.
• 대화 수준과 토큰 수준의 감정 신호를 통합하는 다중 해상도 프레임워크를 개발하기 위해.
• 장기적인 공감 목표와 일치하는 상호작용적 적대적 훈련 기반으로 응답 생성 품질을 향상시키기 위해.
• 맥락적이고 감정적으로 적절한 응답을 생성할 수 있는 더 인간다운 대화 시스템을 구축하기 위해.

제안 방법

• EmpDG는 거시적 대화 수준 감정과 미세한 토큰 수준 감정 단어를 동시에 인코딩하는 다중 해상도 공감 생성기를 사용한다.
• 모델은 대화 맥락으로부터의 다중 해상도 감정 신호와 응답 생성기를 정렬하기 위해 교차 어텐션 메커니즘을 활용한다.
• 두 개의 판별기로 구성된 상호작용적 적대적 학습 프레임워크를 도입한다: 하나는 대화 역사를 기반으로 응답의 공감도를 평가하고, 다른 하나는 사용자 피드백을 추가 맥락으로 사용한다.
• 판별기는 적대적으로 훈련되어 생성기를 더 감정적으로 인지 가능한 응답을 생성하도록 최적화한다.
• 사용자 피드백은 생성기를 지시하기 위해 훈련 신호의 일부로 명시적으로 모델링된다.
• 프레임워크는 의미적 피드백과 감정적 피드백을 통합하여 피드백 인식 방식으로 응답 생성을 정교화한다.

실험 결과

연구 질문

• RQ1 거시적 감정과 미세 감정 신호를 동시에 모델링하면 생성된 응답의 감정 뉘앙스가 향상되는가?
• RQ2 적대적 훈련 과정에 사용자 피드백을 통합하면 응답의 공감도와 일관성에 어떤 영향을 미치는가?
• RQ3 다중 해상도 적대적 프레임워크는 단일 해상도 감정 모델링 접근 방식에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ4 사용자 피드백을 활용하는 상호작용적 판별 메커니즘이 더 감정적으로 인지 가능하고 맥락적으로 적절한 응답을 이끌어낼 수 있는가?
• RQ5 제안된 방법은 실제 공감 대화 시나리오에서 다양한 감정 상태와 대화 맥락에 잘 일반화되는가?

주요 결과

• EmpDG는 EmpathicDialogues 벤치마크 데이터셋에서 콘텐츠 품질과 공감 품질 모두에서 최신 기준 모델들을 뚜렷이 앞서간다.
• 모델은 'sorry', 'hope', 'better'와 같은 미세 감정 단어에 주의를 기울여 더 정보량이 많고 맥락적으로 관련성이 높은 응답을 생성한다.
• 사례 연구에서 EmpDG는 기준 모델이 일반적 또는 감정적으로 어긋난 대답을 생성하는 것에 비해 더 공감적인 응답을 생성한다. 예: 'I am sorry to hear that. I hope he gets better.'
• 상호작용적 적대적 프레임워크는 주어진 어텐션 시각화와 응답 품질 비교를 통해 사용자 피드백을 효과적으로 활용하여 생성 응답의 감정 인지 능력을 향상시킨다.
• 특히 부정적인 감정 맥락에서 기준 모델이 공감을 표현하지 못하는 상황에서도 EmpDG는 감정적으로 적절한 응답을 더 잘 생성한다.
• 제거 실험 결과, 다중 해상도 감정 모델링과 피드백 인식 훈련이 모두 공감도와 응답 품질 향상에 필수적임을 확인했다.