[논문 리뷰] Empathetic Dialogue Generation via Knowledge Enhancing and Emotion Dependency Modeling.

Qintong Li, Piji Li외 2명|arXiv (Cornell University)|2020. 09. 21.

Topic Modeling참고 문헌 53인용 수 11

한 줄 요약

이 논문은 감정 관련 지식을 문맥 그래프에 통합하고, 감정 중심의 어텐션을 사용하는 그래프 인식 트랜스포머를 활용하여 정서적 의존성을 모델링하는 지식 강화 프레임워크인 Know-EDG를 제안한다. 이는 자동 평가 및 인간 평가 지표에서 최신 기법들을 능가한다.

ABSTRACT

Enabling the machines with empathetic abilities to provide context-consistent responses is crucial on both semantic and emotional levels. The task of empathetic dialogue generation is proposed to address this problem. However, two challenges still exist in this task: perceiving nuanced emotions implied in the dialogue context and modelling emotional dependencies. Lacking useful external knowledge makes it challenging to perceive implicit fine-grained emotions. Missing the emotional interactions among interlocutors also restricts the performance of empathetic dialogue generation. To address above challenges, we propose a knowledge-enhanced framework, named Know-EDG. We first enrich dialogue context by bunches of emotion-related concepts and construct a knowledge-enhanced context graph. Then we introduce a graph-aware Transformer encoder to learn graph's semantic and emotional representations, which are the prerequisites of the emotion identifier to predicate the target emotion signal. Finally, we propose an emotion-focused attention mechanism to exploit the emotional dependencies between dialogue context and target empathetic response. Conducted on a benchmark dataset, extensive experimental results show that our proposed framework outperforms state-of-the-art baselines in terms of automatic metrics and human evaluations.

연구 동기 및 목표

• 대화 맥락에서 미묘하고 암묵적인 감정을 인식하는 데 도전하는 것.
• 대화 참가자 간의 정서적 의존성을 모델링하여 공감적 응답 생성을 향상시키는 것.
• 외부 정서 관련 지식을 활용해 문맥 표현을 향상시켜 정서 예측 능력을 향상시키는 것.
• 공감적 응답을 위한 의미적, 정서적, 의존성 인식 표현을 통합적으로 학습하는 통합 프레임워크 개발

제안 방법

• 외부 지식에서 정서 관련 개념을 활용해 대화 발화를 풍부화시켜 지식 강화된 문맥 그래프를 구성한다.
• 문맥 그래프에서 의미적 및 정서적 표현을 공동으로 학습하기 위해 그래프 인식 트랜스포머 인코더를 활용한다.
• 그래프 기반 표현에서 유추된 표현을 바탕으로 대상 감정 신호를 예측하는 감정 식별 모듈을 통합한다.
• 대화 맥락과 응답 생성 간의 감정 의존성을 명시적으로 모델링하기 위해 감정 중심 어텐션 메커니즘을 설계한다.
• 자동 평가 및 인간 평가 프로토콜을 모두 적용한 벤치마크 데이터셋을 사용해 엔드 투 엔드 프레임워크를 훈련시킨다.
• 암묵적인 정서적 신호가 존재할 경우 외부 지식을 활용해 세밀한 정서 인식 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 지식은 대화 맥락에서 세밀하고 암묵적인 감정을 인식하는 데 도움이 될 수 있는가?
• RQ2 그래프 기반 표현 모델은 대화 턴 간의 정서적 의존성을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 감정 중심 어텐션은 생성된 응답의 정서 일관성을 얼마나 향상시키는가?
• RQ4 지식 통합 및 의존성 모델링을 통합하면 기존의 공감적 대화 생성 기법들에 비해 측정 가능한 성능 향상이 이루어지는가?

주요 결과

• 제안된 Know-EDG 프레임워크는 최신 기준 기준보다 자동 평가 지표에서 뛰어난 성능을 달성한다.
• 인간 평가 결과에 따르면 Know-EDG가 생성한 응답은 정서 일관성과 공감 능력 면에서 더 뛰어나다.
• 외부 지식 통합은 모델이 대화에서 미묘한 정서적 신호를 탐지하는 데 있어 능력을 크게 향상시킨다.
• 감정 중심 어텐션 메커니즘은 턴 간 정서 의존성을 효과적으로 포착하여 응답의 관련성을 향상시킨다.
• 그래프 인식 트랜스포머 인코더는 지식 강화된 문맥 그래프로부터 풍부한 의미적 및 정서적 표현을 성공적으로 학습한다.
• 벤치마크 데이터셋에서의 실증 결과는 자동 평가 및 인간 평가 지표 모두에서 일관된 성능 향상을 입증한다.