[논문 리뷰] EmoWOZ: A Large-Scale Corpus and Labelling Scheme for Emotion Recognition in Task-Oriented Dialogue Systems

Shutong Feng, Nurul Lubis외 5명|arXiv (Cornell University)|2021. 09. 10.

Sentiment Analysis and Opinion Mining인용 수 12

한 줄 요약

EmoWOZ는 사용자 발화에 대해 83,000개의 감정 레이블을 포함한 11,000개 이상의 작업 중심 대화를 포함한 대규모 공개 감정 주석 코퍼스를 소개한다. 이는 OCC 모델 기반의 새로운 7단계 감정 체계를 사용한다. 연구 결과 감정 주석이 공동 목표 정확도에서 대화 상태 추적 성능을 1.0% 향상시켜, 감정 인식 기반 작업 중심 대화 시스템에 대한 코퍼스의 유용성을 입증한다.

ABSTRACT

The ability to recognise emotions lends a conversational artificial intelligence a human touch. While emotions in chit-chat dialogues have received substantial attention, emotions in task-oriented dialogues remain largely unaddressed. This is despite emotions and dialogue success having equally important roles in a natural system. Existing emotion-annotated task-oriented corpora are limited in size, label richness, and public availability, creating a bottleneck for downstream tasks. To lay a foundation for studies on emotions in task-oriented dialogues, we introduce EmoWOZ, a large-scale manually emotion-annotated corpus of task-oriented dialogues. EmoWOZ is based on MultiWOZ, a multi-domain task-oriented dialogue dataset. It contains more than 11K dialogues with more than 83K emotion annotations of user utterances. In addition to Wizard-of-Oz dialogues from MultiWOZ, we collect human-machine dialogues within the same set of domains to sufficiently cover the space of various emotions that can happen during the lifetime of a data-driven dialogue system. To the best of our knowledge, this is the first large-scale open-source corpus of its kind. We propose a novel emotion labelling scheme, which is tailored to task-oriented dialogues. We report a set of experimental results to show the usability of this corpus for emotion recognition and state tracking in task-oriented dialogues.

연구 동기 및 목표

• 작업 중심 대화를 위한 대규모 공개 감정 주석 코퍼스의 부족을 해결하기 위해.
• 기본 감정 극성 이상의 맥락 기반 감정을 포괄하는, 사용자 목표와 관련된 감정을 반영한 맞춤형 감정 레이블링 체계를 개발하기 위해.
• 감정 인식 및 후속 작업을 위한 벤치마크 데이터셋을 제공함으로써 감정 인식 기반 대화 시스템 연구를 가능하게 하기 위해.
• 감정 레이블이 대화 상태 추적 및 강화 학습 피드백 신호 향상에 어떻게 기여하는지 조사하기 위해.

제안 방법

• 다양한 도메인의 워즈형 및 인간-기계 대화를 포함한 11,000개 이상의 대화를 추가하여 MultiWOZ를 확장해 EmoWOZ를 구축했다.
• OCC 모델 기반의 7단계 감정 레이블링 체계를 설계하여 공포, 불만족, 만족 등의 감정에 대해 정서의 성향, 행동 대상, 유발 원인를 포괄한다.
• 사용자 발화 83,000개를 수동으로 감정 레이블링하여 고도의 상호 주석자 일致도와 목표 관련 정서 상태의 포괄성을 확보했다.
• BERT와 같은 컨텍스트 인코더를 사용해 감정 인식 모델을 훈련하고, 감정 클래스 간 정밀도, 재현율, F1 점수로 성능을 평가했다.
• 대화 상태 추적기의 미세조정을 위해 감정 인식을 다중 작업 학습의 보조 작업으로 통합하여 DST와 감정 예측을 공동으로 훈련했다.
• 공동 목표 정확도(JGA)를 통해 감정 레이블의 영향을 평가하였으며, 감정 감시가 있는 모델와 없는 모델를 비교했다.

실험 결과

연구 질문

• RQ1 작업 중심 대화를 위한 대규모 공개 감정 주석 코퍼스를 구축하여 후속 연구를 지원할 수 있는가?
• RQ2 새로운 OCC 기반 감정 레이블링 체계는 작업 중심 대화에서 목표 관련 감정을 얼마나 효과적으로 포착하는가?
• RQ3 감정 인식이 작업 중심 대화 시스템의 대화 상태 추적 성능 향상에 어느 정도 기여하는가?
• RQ4 워즈형 대화와 기계 생성 정책 기반 대화 간 감정 분포와 감정 인식에 대한 유용성은 어떻게 비교되는가?

주요 결과

• EmoWOZ는 11,000개 이상의 대화와 사용자 발화에 대한 83,000개의 감정 레이블을 포함하여, 작업 중심 대화 감정 인식 분야에서 가장 큰 오픈소스 코퍼스이다.
• 제안된 7단계 감정 체계는 공포, 불만족, 만족과 같은 맥락 기반 감정을 고도로 일관되고 사용자 목표와 관련된 감정 상태로 효과적으로 포착한다.
• EmoWOZ에서 훈련된 감정 인식 모델은 테스트 세트에서 매크로 F1 점수 0.62를 기록하여, 작업 중심 대화에서 미묘한 목표 관련 감정을 인식하는 것이 가능하다는 것을 입증한다.
• MultiWOZ 훈련에 EmoWOZ 데이터를 추가함으로써 '불만족'의 재현율이 29.1% 향상되었고, '공포'와 '흥분'의 정밀도는 각각 7.5%와 7.1% 향상되어 상호 보완적인 데이터 유용성이 확인되었다.
• 감정 인식을 보조 작업으로 통합함으로써 대화 상태 추적기의 공동 목표 정확도(JGA)가 53.7%에서 54.7%로 상승하였으며, 통계적 유의성(p < 0.02)이 입증되었다.
• 결과는 감정 레이블이 특히 사용자 분노와 불만족을 탐지하는 데 중요한 대화 상태 추적에 의미 있는 감독 신호를 제공한다는 것을 확인한다.