[논문 리뷰] DailyDialog: A Manually Labelled Multi-turn Dialogue Dataset

Yanran Li, Hui Su외 4명|arXiv (Cornell University)|2017. 10. 11.

Topic Modeling참고 문헌 24인용 수 667

한 줄 요약

DailyDialog은 일상 생활 대화의 고품질, 사람에 의해 작성된 다회차 대화 데이터셋으로 대화 행위(Inform, Questions, Directives, Commissive) 및 감정(일곱 가지 범주)에 대한 수동 주석이 있습니다. 약 13k 개의 대화(대략 각 대화당 8회차)로 구성되며 검색 및 생성 모델에 대한 베이스라인 평가를 제공합니다.

ABSTRACT

We develop a high-quality multi-turn dialog dataset, DailyDialog, which is intriguing in several aspects. The language is human-written and less noisy. The dialogues in the dataset reflect our daily communication way and cover various topics about our daily life. We also manually label the developed dataset with communication intention and emotion information. Then, we evaluate existing approaches on DailyDialog dataset and hope it benefit the research field of dialog systems.

연구 동기 및 목표

• 일상 생활 대화를 반영한 고품질의 수동 주석 다회차 대화 데이터셋을 제공한다.
• 발화에 대화 행위(Inom, Questions, Directives, Commissive)와 일곽 감정 7종으로 주석을 달다.
• 검색 및 생성 패러다임 모두에서 대화 시스템 연구를 촉진하기 위한 베이스라인 평가를 제공한다.
• 일상 생활의 고유한 패턴과 감정이 풍부한 콘텐츠를 강조하여 감정 인식 대화 모델링에 도움을 준다.]
• method3: [
• method
• 3-6 bullet points: proposed method, key techniques/equations
• title2:

제안 방법

• 일상 생활 맥락의 영어 대화를 수집하여 형식적이고 사람이 작성한 언어를 보장한다.
• 오탈자를 자동으로 수정하고 중복 데이터를 제거하며 두 화자 간의 대화로 필터링한다.
• Amanova 등(2016)을 따르는 네 가지 대화 행위와 일곱 가지 감정(Big Six plus Other)으로 각 발화를 수동 주석하였다.
• 주석자 간 합의도(78.9%)를 다수결 투표 및 논의를 통해 평가하였다.
• DailyDialog에서 검색 기반 및 생성 기반 대화 시스템의 베이스라인 평가를 수행하였다.
• 도메인 이질성 데이터를 OpenSubtitles로 사전 학습 효과를 비교하였다.

실험 결과

연구 질문

• RQ1 일상 생활 다회차 대화의 주제 다양성, 대화 흐름, 감정, 주석 품질 측면의 특징은 무엇인가?
• RQ2 고품질 수동 주석이 달린 DailyDialog 데이터셋에서 기존의 검색 기반 및 생성 기반 대화 모델의 성능은 어떠한가?
• RQ3 대화 행위 및 감정 주석이 DailyDialog의 검색/랭킹 및 생성 품질을 향상시키는가?
• RQ4 일상 대화의 대화 흐름 패턴(예: 이회 대화, 다회 차 대화)에서 관찰되는 경향은 무엇이며, 간단한 Q/A를 넘어서는 패턴은 얼마나 흔한가?

주요 결과

• 데이터셋은 평균 약 7.9회차 및 발화당 평균 약 14.6 토큰으로 구성된 13,118개 대화를 포함한다.
• DailyDialog 주제는 열 가지 범주를 다루며 관계, 일상 생활, 직장이 가장 흔하다.
• 발화는 네 가지 대화 행위(Infrom, Questions, Directives, Commissive)와 일곱 가지 감정 범주에 라벨링되며 주석자 간 동의도는 78.9%이다.
• 두 가지 주목할 만한 다회차 패턴이 관찰되었다: (i) 화자가 질문에 답한 후 또 다른 질문을 하는 패턴(패턴 1, 18.3%), (ii) 제안자의 아이디어가 또 다른 제안을 촉발하는 패턴(패턴 2, 9.2%).
• 감정 라벨은 행복이 가장 큰 범주이고 Other로 라벨링된 부분이 큰 편(83.10%)이다.
• 베이스라인 결과는 주의 기반 생성 및 계층적 모델이 일반적으로 vanilla Seq2Seq보다 BLEU 및 perplexity에서 우수하며 OpenSubtitles를 통한 사전 학습은 도메인 불일치로 인해 도메인 특성에 해를 줄 수 있다.
• 검색 기반 방법은 의도 및 감정 인식 재순위를 통해 BLEU 점수를 부분적으로 향상시키고 합리적인 감정-의도 정합성을 유지한다.