[논문 리뷰] Generating Empathetic Responses with a Large Scale Dialog Dataset.

Yubo Xie, Pearl Pu|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 18인용 수 4

한 줄 요약

이 논문은 1회 대화 당 32개의 감정 및 9개의 의도 레이블을 가진 대규모 다단계 대화 데이터셋을 소개하여, 미묘한 정서적 상호작용을 포착하는 공감적 응답 모델을 훈련할 수 있도록 한다. 제안된 모델은 인간 평가를 거친 6,000개의 응답에 대해 베이스라인을 능가하며, 정제된 데이터셋에서의 엔드 투 엔드 학습을 통해 정서적 관련성과 맥락 이해도 향상을 보여준다.

ABSTRACT

The task of empathetic response generation aims at generating syntactically correct and, more importantly, emotionally appropriate responses following previous dialog turns. Existing models either directly incorporate pre-defined emotion information to guide the response generation, or use deterministic rules to decide the response emotion, ignoring the subtle emotion interactions captured in human conversations. With the advent of advanced language models, it is possible to learn the nuanced emotional exchanges captured in natural language dialogs. To fully explore the range of emotions and dialog intents, it is important to curate a dataset large enough to shed light on the general understanding of human emotional interactions in our conversations. In this paper, we describe in detail the curation process of a large-scale dialog dataset where each utterance is labeled with one of 32 emotions and 9 intent categories. We then show how to build a multi-turn empathetic dialog model that performs well compared to its baselines over 6,000 human evaluated instances.

연구 동기 및 목표

• 기존 모델이 미묘한 정서적 상호작용을 포착하는 데에 한계가 있음을 해결하기 위해 대규모 다감정, 다의도 대화 데이터셋을 구축하는 것.
• 정해진 규칙나 사전 정의된 감정 레이블에 의존하는 대신 풍부한 정서 및 의도 레이블을 기반으로 학습하는 응답 생성 모델을 개발하는 것.
• 다단계 대화에서 복잡한 정서적 역학을 모델링하여 공감적 응답 생성을 향상시키는 것.
• 정서적 적절성과 맥락 일관성을 보장하기 위해 인간이 레이블링한 응답을 기반으로 모델 성능을 평가하는 것.

제안 방법

• 6,000개의 인간 평가를 거친 대화 전환을 포함한 대규모 대화 데이터셋을 정제하였으며, 각 전환은 32개의 감정 중 하나와 9개의 의도 카테고리 중 하나로 레이블링되었다.
• 맥락과 감정 인식 표현을 모두 고려해 조건부로 응답을 생성할 수 있도록 엔드 투 엔드로 훈련된 다단계 대화 모델을 구축하였다.
• 수동으로 만든 감정 규칙에 의존하지 않고, 대화 전환 간의 맥락적 및 정서적 종속성을 학습하기 위해 고급 언어 모델을 활용하였다.
• 감정과 의도를 함께 모델링하는 공동 레이블링 체계를 도입하여 응답 생성에 정서적 및 기능적 맥락을 풍부하게 하였다.
• 감정 맥락을 응답 생성과 정렬하기 위해 어텐션 메커니즘을 적용한 시퀀스 투 시퀀스 모델링을 적용하였다.
• 정서적 적절성과 유창성을 보장하기 위해 인간의 레이블링을 기반으로 6,000개의 응답 인스턴스에서 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 사전 정의된 감정을 사용하는 모델과 비교해 대규모 다중 레이블링 대화 데이터셋이 응답의 정서적 관련성 향상에 기여하는가?
• RQ2 감정과 의도를 함께 레이블링하는 방식이 모델이 맥락적 및 정서적으로 적절한 응답을 생성하는 데에 미치는 영향은 무엇인가?
• RQ3 다양한 정서 분포에서 엔드 투 엔드 학습을 통해 정규화된 감정 선택 방식이나 결정론적 감정 선택 방식보다 성능이 향상되는 정도는 어느 정도인가?
• RQ4 모델은 다양한 대화 전환과 다단계 대화에서의 정서 역학에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 모델은 인간 평가를 거친 6,000개의 응답 인스턴스에서 우수한 성능을 기록하여, 기존 모델 대비 정서적 적절성이 향상됨을 입증하였다.
• 모델는 대화 전환 간의 미묘한 정서 전이를 효과적으로 포착하였으며, 정적 또는 규칙 기반 감정 할당에 의존하는 모델보다 뛰어난 성능을 보였다.
• 감정과 의도를 함께 모델링한 결과, 단일 신호만을 사용하는 모델보다 더 일관되고 맥락에 부합하는 응답을 생성하였다.
• 32개의 감정과 9개의 의도를 포함한 대규모 데이터셋 덕분에 모델은 다양한 정서적 및 대화적 상황에 대해 잘 일반화되었다.