[논문 리뷰] Towards Empathetic Dialogue Generation over Multi-type Knowledge.

Qintong Li, Piji Li외 2명|arXiv (Cornell University)|2020. 09. 21.

Topic Modeling참고 문헌 54인용 수 13

한 줄 요약

이 논문은 공공지식과 정서 어휘를 통합하여 정서적 이해를 향상시키는 다중 유형 지식 인지 프레임워크를 제안한다. 정서적 맥락 그래프를 구축하고 정서적 크로스 어텐션을 갖춘 지식 인지 인코더를 활용하여, 응답의 관련성과 정서 일관성을 향상시켜 최신 기술 대비 자동 평가 및 인간 평가 지표에서 뛰어난 성능을 발휘한다.

ABSTRACT

Enabling the machines with empathetic abilities to provide context-consistent responses is crucial on both semantic and emotional levels. The task of empathetic dialogue generation is proposed to address this problem. However, lacking external knowledge makes it difficult to perceive implicit emotions from limited dialogue history. To address the above challenges, we propose to leverage multi-type knowledge, i.e, the commonsense knowledge and emotional lexicon, to explicitly understand and express emotions in empathetic dialogue generation. We first enrich the dialogue history by jointly interacting with two-type knowledge and construct an emotional context graph. Then we introduce a multi-type knowledge-aware context encoder to learn emotional context representations and distill emotional signals, which are the prerequisites to predicate emotions expressed in responses. Finally, we propose an emotional cross-attention mechanism to exploit the emotional dependencies between the emotional context graph and the target empathetic response. Conducted on a benchmark dataset, extensive experimental results show that our proposed framework outperforms state-of-the-art baselines in terms of automatic metrics and human evaluations.

연구 동기 및 목표

• 외부 지식을 활용하여 대화 시스템에서 정서 일관성 있는 응답을 생성하는 데 도전하는 것.
• 대화 이력이 제한되거나 모호할 경우 정서 인식을 향상시키기 위한 응답 생성을 향상시키는 것.
• 공공지식과 정서 어휘를 모두 활용하여 정서적 맥락을 명시적으로 모델링하는 것.
• 대화 이력과 목표 응답 간의 정서적 종속성을 포착하는 프레임워크를 개발하는 것.
• 정서적 맥락 표현의 공동 학습과 정서 신호 정제를 통해 응답 품질을 향상시키는 것.

제안 방법

• 통합된 정서적 맥락 그래프를 형성하기 위해 공공지식과 정서 어휘와의 공동 상호작용을 통해 대화 이력을 풍부화시키는 것.
• 풍부화된 이력으로부터 맥락 표현을 학습하고 정서 신호를 정제하기 위한 다중 유형 지식 인지 맥락 인코더를 설계하는 것.
• 정서적 맥락 그래프와 목표 응답 간의 종속성을 모델링하기 위해 정서적 크로스 어텐션 메커니즘을 도입하는 것.
• 정서적 맥락에 대한 어텐션을 갖춘 순서에서 순서로 프레임워크를 사용하여 모델을 엔드 투 엔드로 훈련하는 것.
• 정서적으로 중요한 지식과 대화 이력 구성 요소에 동적으로 어텐션을 집중시키기 위해 어텐션 메커니즘을 활용하는 것.
• 지식 임베딩과 발화 표현을 조합하여 맥락적이고 정서적으로 기반된 응답을 생성하는 것.

실험 결과

연구 질문

• RQ1 다중 유형 지식(공공지식 및 정서 어휘)이 정서 일관성 있는 대화 생성에서 정서 이해를 어떻게 향상시킬 수 있는가?
• RQ2 다양한 유형의 지식과의 공동 상호작용이 응답의 관련성과 정서 일관성에 얼마나 기여하는가?
• RQ3 정서적 맥락 그래프가 대화 이력 내 암묵적인 정서 상태를 효과적으로 표현할 수 있는가?
• RQ4 정서적 크로스 어텐션은 이력과 응답 간의 정서 종속성을 어떻게 향상시키는가?
• RQ5 정서 신호 통합이 자동 평가 및 인간 평가 지표에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 제안된 모델은 벤치마크 데이터셋에서 최신 기술 대비 자동 평가 지표에서 뛰어난 성능을 달성한다.
• 인간 평가 결과, 모델이 더 정서 일관성 있고 맥락에 부합하는 응답을 생성함을 확인할 수 있다.
• 공공지식과 정서 어휘를 모두 통합함으로써 더 나은 정서 신호 정제 및 맥락 표현이 이루어진다.
• 정서적 크로스 어텐션 메커니즘이 대화 이력과 생성된 응답 간의 정서 종속성을 효과적으로 포착한다.
• 대화 이력이 짧거나 정서적으로 모호할 경우에도 모델은 더 나은 응답 품질을 보여준다.
• 제거 실험 결과, 지식 유형이나 정서적 크로스 어텐션 메커니즘을 제거할 경우 성능 저하가 발생한다.