[논문 리뷰] MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation

Ting Han, Ximing Liu외 6명|arXiv (Cornell University)|2020. 10. 12.

Topic Modeling참고 문헌 28인용 수 19

한 줄 요약

이 논문은 다중 도메인 작업 중심 대화 데이터셋인 MultiWOZ 2.3을 소개한다. 이 데이터셋은 수정된 대화 액션 및 대화 상태 주석을 포함하며, 공명 해결 기능으로 보강되었다. 일관성 없는 주석을 통합하고 공명 특징을 통합함으로써 대화 상태 추적 성능이 크게 향상되었으며, SUMBT를 사용할 경우 연합 목표 정확도가 54.6%로 상승했고, TRADE를 사용할 경우 49.9%로 상승하여 이전 버전에 비해 상당한 향상이 이루어졌다.

ABSTRACT

Task-oriented dialogue systems have made unprecedented progress with multiple state-of-the-art (SOTA) models underpinned by a number of publicly available MultiWOZ datasets. Dialogue state annotations are error-prone, leading to sub-optimal performance. Various efforts have been put in rectifying the annotation errors presented in the original MultiWOZ dataset. In this paper, we introduce MultiWOZ 2.3, in which we differentiate incorrect annotations in dialogue acts from dialogue states, identifying a lack of co-reference when publishing the updated dataset. To ensure consistency between dialogue acts and dialogue states, we implement co-reference features and unify annotations of dialogue acts and dialogue states. We update the state of the art performance of natural language understanding and dialogue state tracking on MultiWOZ 2.3, where the results show significant improvements than on previous versions of MultiWOZ datasets (2.0-2.2).

연구 동기 및 목표

• MultiWOZ 데이터셋에서 대화 액션과 대화 상태 간 지속적인 주석 일관성 문제를 해결하기 위해.
• 대화 액션 및 상태 주석의 오류를 수정함으로써 대화 상태 추적(DST)의 품질을 향상시키기 위해.
• 인간의 발화에서 대명사와 생략을 해결하기 위해 공명 주석을 도입하여 논의 수준의 이해를 향상시키기 위해.
• 대화 액션과 상태 주석을 통합함으로써 작업 중심 대화 시스템에 대해 더 신뢰할 수 있는 벤치마크를 구축하기 위해.
• 개선된 데이터 품질이 최종 NLU 및 DST 성능에 측정 가능한 향상 효과를 가져오는지 입증하기 위해.

제안 방법

• MultiWOZ 2.1 및 2.2에서 잘못된 대화 액션 및 대화 상태 주석을 식별하고 수정하여 일관성 문제를 해결하였다.
• 규칙 기반 전처리 파이프라인을 적용하여 대화 액션 내 잘못된 슬롯 값과 잘못된 스펜을 수정하였다.
• 발화 내 대명사와 생략된 참조를 그 전건에 연결하여 공명 해결 주석을 통합하였다.
• 대화 액션과 대화 상태 주석을 통합하여 두 주석 수준 간 일관성을 확보하였다.
• 대화 시스템의 논의 수준 모델링을 지원하기 위해 공명 인식 주석을 데이터셋에 추가하였다.
• 최신 모델(SUMBT 및 TRADE)을 업데이트된 데이터셋에서 재평가하여 성능 향상 여부를 검증하였다.

실험 결과

연구 질문

• RQ1 대화 액션과 대화 상태 간 주석 일관성 문제가 대화 상태 추적 성능에 어떤 영향을 미치는가?
• RQ2 공명 해결 기능이 다중 도메인 대화에서 대화 상태 추적 정확도에 어느 정도 기여하는가?
• RQ3 수정되고 통합된 주석을 가진 정제된 데이터셋이 NLU 및 DST 벤치마크에서 측정 가능한 성능 향상에 기여하는가?
• RQ4 공명 인식 주석이 작업 중심 대화 시스템의 연합 목표 정확도에 어떤 영향을 미치는가?
• RQ5 MultiWOZ 2.3은 이전 버전(2.0–2.2)과 비교해 모델 일반화 및 내성에 대해 어떻게 다른가?

주요 결과

• SUMBT를 사용할 경우 MultiWOZ 2.3에서 연합 목표 정확도가 52.9%를 기록하여 MultiWOZ 2.2의 49.7%보다 뚜렷한 향상이 이루어졌다.
• 공명 주석을 통합한 결과, SUMBT의 연합 목표 정확도가 54.6%로 상승하여 논의 수준 모델링의 유용성을 입증하였다.
• TRADE 모델은 공명 강화된 데이터셋에서 49.9%의 연합 목표 정확도를 기록하여 MultiWOZ 2.2의 46.6%에서 상승하였다.
• MultiWOZ 2.3에서 훈련된 BERT 기반 NLU 모델은 이전 버전 대비 F1 점수와 문장 정확도 모두 5% 향상되었다.
• DST에서 30개 슬롯 중 17개에서 최고 성능을 기록하였고, 공명 기능을 통합한 경우 24개 슬롯에서 최고 성능을 기록하여 광범위한 향상이 이루어졌다.
• 'dontcare' 슬롯 분류 게이트는 MultiWOZ 2.3에서 이전 버전 대비 F1 점수 9% 이상 높게 기록하여 주석 품질 향상의 효과를 확인하였다.