[논문 리뷰] Emotion-aware Chat Machine: Automatic Emotional Response Generation for Human-like Emotional Interaction

Wei Wei, Jiayi Liu외 5명|arXiv (Cornell University)|2021. 06. 06.

Topic Modeling참고 문헌 12인용 수 17

한 줄 요약

이 논문은 입력 게시물의 의미적 및 정서적 내용을 통합적으로 인코딩하여 맥락적으로 일관되고 정서적으로 적절한 응답을 생성하는 엔드 투 엔드 정서 인식 대화 기계(EACM)를 제안한다. 자기주의 주의를 갖춘 통합 융합-예측 네트워크를 사용함으로써 EACM은 의미 점수에서 16.9%, 정서 점수에서 1.72%, 응답 품질에서 25.81% 향상되어 정서적으로 부적절한 응답을 크게 감소시켰다.

ABSTRACT

The consistency of a response to a given post at semantic-level and emotional-level is essential for a dialogue system to deliver human-like interactions. However, this challenge is not well addressed in the literature, since most of the approaches neglect the emotional information conveyed by a post while generating responses. This article addresses this problem by proposing a unifed end-to-end neural architecture, which is capable of simultaneously encoding the semantics and the emotions in a post for generating more intelligent responses with appropriately expressed emotions. Extensive experiments on real-world data demonstrate that the proposed method outperforms the state-of-the-art methods in terms of both content coherence and emotion appropriateness.

연구 동기 및 목표

• 응답 생성 시 의미적 일관성과 정서적 일관성을 동시에 모델링하지 못하는 대화 시스템의 격차를 해소하기 위해.
• 사전 지정된 정서 레이블이나 이모티콘에 의존하는 기존 정서 인식 모델의 한계를 극복하기 위해.
• 입력 게시물의 정서적 내용에 기반해 최적의 응답 정서를 자동으로 추론하는 통합형 엔드 투 엔드 신경망 아키텍처를 개발하기 위해.
• 응답의 정서적 적절성과 의미적 일관성을 보장함으로써 인간과 유사한 정서적 상호작용을 향상시키기 위해.

제안 방법

• 의미 선택과 응답 생성을 하나의 프레임워크에 통합한 통합형 엔드 투 엔드 신경망 아키텍처인 EACM을 제안한다.
• 자기주의 주의를 갖춘 융합-예측 네트워크를 사용해 입력 게시물의 의미적 및 정서적 표현을 동시에 인코딩한다.
• 자기주의 주의 메커니즘을 활용해 장거리 의존성을 포착하고 의미 및 정서 표현 학습을 향상시킨다.
• 사전 레이블된 정서에서의 하드 매핑을 피하기 위해 입력에서 직접 정서 인식 표현을 학습함으로써 소프트 정서 주입을 도입한다.
• 의미적 일관성과 정서적 일관성을 동시에 최적화할 수 있도록 어텐션을 갖춘 시퀀스-투-시퀀스 학습을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 응답 생성과 정서 분류를 위한 교차 엔트로피를 통합한 통합 손실 함수를 활용해 정서 의도와 응답 내용을 일치시킨다.

실험 결과

연구 질문

• RQ1 통합형 엔드 투 엔드 모델이 개방형 대화에서 응답 품질 향상을 위해 의미적 및 정서적 표현을 동시에 학습할 수 있는가?
• RQ2 사전 레이블된 정서 카테고리로 사용하는 하드 정서 주입과 달리, 입력 콘텐츠에서 정서를 직접 학습하는 소프트 정서 주입은 어떤가?
• RQ3 수동으로 애너테이션된 정서 레이블에 의존하지 않고도 모델이 최적의 응답 정서를 자동으로 추론할 수 있는 정도는 어느 정도인가?
• RQ4 의미와 정서를 동시에 모델링하는 것이 별도로 모델링하는 방법보다 더 일관되고 정서적으로 적절한 응답을 생성하는가?
• RQ5 제안된 EACM 모델은 자동 평가 및 인간 평가 지표에서 최신 기술(SOTA) 기준 모델보다 어떻게 성능을 내는가?

주요 결과

• EACM은 기준 모델인 ECM 대비 의미 점수에서 16.9% 향상되어 생성된 응답의 의미적 일관성에서 뛰어난 성능을 보였다.
• EACM은 ECM 대비 정서 점수에서 1.72% 향상되고 응답 품질에서 25.81% 향상되어 더 강한 정서적 적절성과 종합적인 응답 품질을 확보했다.
• 인간 평가에서 정확한 정서와 의미를 가진 응답 비율(1-1)은 39%로 증가했고, 정서적으로 잘못되었지만 의미적으로 올바른 응답(0-1) 비율은 2.5%로 감소하여 정서 일관성 저하가 줄어들었다.
• 사례 연구를 통해 EACM은 '화남, 기타'와 같이 복잡하거나 모호한 정서 입력에 대해서도 정서적으로 적절한 응답을 생성함을 확인했으며, ECM은 실패함을 입증했다.
• EACM은 슬픈 게시물에 행복한 응답을 생성하는 등 정서적 갈등을 보이는 응답의 빈도를 감소시켜, Seq2seq 및 Seq2seq-emb보다 정서 일치도에서 뛰어난 성능을 보였다.
• 실제 대화에서 흔한 '기타' 정서 카테고리를 처리하는 데 효과적으로 기여했으며, 명시적 정서 레이블에 의존하지 않고도 미묘한 정서 패턴을 학습함으로써 복잡한 정서 표현을 잘 처리했다.