[논문 리뷰] A Multi-Turn Emotionally Engaging Dialog Model

Yubo Xie, Ekaterina Svikhnushina외 1명|arXiv (Cornell University)|2019. 08. 15.

Speech and dialogue systems참고 문헌 53인용 수 12

한 줄 요약

이 논문은 계층적 RNN와 통합된 감정 추적 메커니즘을 사용하여 데이터에서 직접 감정적 상호작용을 학습하는 MEED라는 다회화 대화 모델을 제안한다. 이는 감정적으로 적절하고 맥락을 고려한 응답에서 기준 모델인 seq2seq 및 HRAN 모델보다 퍼즐러피티와 인간 평가 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Open-domain dialog systems (also known as chatbots) have increasingly drawn attention in natural language processing. Some of the recent work aims at incorporating affect information into sequence-to-sequence neural dialog modeling, making the response emotionally richer, while others use hand-crafted rules to determine the desired emotion response. However, they do not explicitly learn the subtle emotional interactions captured in human dialogs. In this paper, we propose a multi-turn dialog system aimed at learning and generating emotional responses that so far only humans know how to do. Compared with two baseline models, offline experiments show that our method performs the best in perplexity scores. Further human evaluations confirm that our chatbot can keep track of the conversation context and generate emotionally more appropriate responses while performing equally well on grammar.

연구 동기 및 목표

• 수동적인 규칙 기반 접근에 의존하지 않고, 데이터 기반의 종단 간 대화 시스템을 개발하여 인간 대화에서의 미묘한 감정 상호작용을 포착하고자 한다.
• 회화의 여러 단계에서 감정 맥락을 명시적으로 모델링하여 다회화 생성을 향상시키고, 감정의 일관성과 참여도를 높이고자 한다.
• 학습 및 평가에 적합한 균형 잡힌 다회화 데이터셋을 구축하고자 한다.
• 맥락적으로 적절하고 감정적으로 균형 잡힌 대화를 사용하여 객관성과 관련성을 확보하는 인간 평가 프로토콜을 설계하고자 한다.
• 데이터에서 감정 역학을 학습하는 것이 규칙 기반 또는 일반적인 seq2seq 접근 방식보다 더 자연스럽고 유창하며 감정적으로 적절한 응답을 도출할 수 있음을 입증하고자 한다.

제안 방법

• 모델은 다회화 대화 이력을 캐릭터링하기 위해 계층적 RNN 아키텍처를 사용하여 각 단계에서 의미적 및 감정적 맥락을 포착한다.
• 추가로 감정 RNN을 도입하여 각 발언에서 감정 상태를 처리하고 원시 데이터로부터 감정 전이를 학습한다.
• 감정 표현은 LIWC 어휘를 사용하여 VAD(가치, 각성, 지배력) 벡터에서 유도되며, 이는 연속적인 감정 모델링을 가능하게 한다.
• 디코더를 이전 대화 이력과 학습된 감정 상태에 조건화하여 응답 생성과 감정 맥락 추적을 동시에 학습한다.
• 코니얼 영화 대본 데이터셋에서의 사전 훈련과 딜리데이디얼(DailyDialog) 데이터셋에서의 미세조정을 통해 자연스럽고 대화 유형의 응답을 감정 인식 능력과 함께 학습한다.
• 프레임워크는 Transformer 기반 아키텍처와 사전 훈련된 언어 모델로도 확장 가능하며, 향후 BERT/RoBERTa를 도입하여 성능을 향상시키는 것이 계획되어 있다.

실험 결과

연구 질문

• RQ1 수동적인 감정 규칙에 의존하지 않고 데이터 기반의 종단 간 모델이 다회화 대화에서 감정적으로 적절한 응답을 학습할 수 있는가?
• RQ2 다른 단계에서 감정 역학을 모델링하는 것이 단일 단계 또는 일반적인 seq2seq 모델에 비해 응답 품질을 어떻게 향상시키는가?
• RQ3 원시 대화 데이터에서 훈련된 모델이 인간처럼 감정적 참여와 맥락 추적을 얼마나 잘 재현할 수 있는가?
• RQ4 기계가 생성한 대화에서 감정 적절성과 유창성을 신뢰성 있게 평가하기 위해 인간 평가를 어떻게 구성할 수 있는가?
• RQ5 계층적 대화 아키텍처에 감정 추적 기능을 통합하면 퍼즐러피티와 인간 평가 기반 응답 품질에서 측정 가능한 향상이 이루어지는가?

주요 결과

• MEED는 퍼즐러피티 측면에서 표준 seq2seq 및 HRAN 기준 모델보다 뛰어난 언어 모델링 능력을 보였다.
• 인간 평가 결과, MEED는 두 기준 모델보다 유의미하게 감정적으로 더 적절한 응답을 생성했으며, 문법적 품질은 유사하게 유지되었다.
• 모델는 여러 단계에 걸쳐 감정 맥락을 성공적으로 추적하여 대화의 진전에 따라 변화하는 감정 역학을 반영한 응답을 생성했다.
• VAD 벡터의 사용과 데이터 기반 감정 학습 덕분에, 추론 시 명시적인 감정 레이블이 필요 없이도 감정적으로 뉘앙스 있는 응답을 생성할 수 있었다.
• 맥락적으로 관련성 있고 감정적으로 균형 잡힌 대화를 사용한 인간 평가 프로토콜은 평가자 편향을 줄이고 결과의 신뢰도를 높였다.
• 대규모 영화 대본에서의 사전 훈련과 DailyDialog에서의 미세조정은 모델이 자연스럽고 매력적이며 감정적으로 일관된 응답을 생성하는 능력을 향상시켰다.