[논문 리뷰] MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines

Mihail Eric, Rahul Goel외 8명|arXiv (Cornell University)|2019. 07. 02.

Topic Modeling참고 문헌 11인용 수 13

한 줄 요약

이 논문은 다중 도메인 대화 데이터셋인 MultiWOZ 2.0의 개선 및 통합된 버전인 MultiWOZ 2.1을 소개한다. 대화 상태 주석과 사용자 대화 액션을 보정함으로써 데이터 품질을 향상시켰으며, 인류 기반 재주석과 표준화를 통해 32%의 상태 주석과 146개의 발화가 수정되었다. 이로 인해 최신 모델의 성능이 3-5% 하락했으며, 이는 'dontcare' 및 'none' 레이블에 대한 더 나은 모델링이 필요하다는 점을 시사한다.

ABSTRACT

MultiWOZ 2.0 (Budzianowski et al., 2018) is a recently released multi-domain dialogue dataset spanning 7 distinct domains and containing over 10,000 dialogues. Though immensely useful and one of the largest resources of its kind to-date, MultiWOZ 2.0 has a few shortcomings. Firstly, there is substantial noise in the dialogue state annotations and dialogue utterances which negatively impact the performance of state-tracking models. Secondly, follow-up work (Lee et al., 2019) has augmented the original dataset with user dialogue acts. This leads to multiple co-existent versions of the same dataset with minor modifications. In this work we tackle the aforementioned issues by introducing MultiWOZ 2.1. To fix the noisy state annotations, we use crowdsourced workers to re-annotate state and utterances based on the original utterances in the dataset. This correction process results in changes to over 32% of state annotations across 40% of the dialogue turns. In addition, we fix 146 dialogue utterances by canonicalizing slot values in the utterances to the values in the dataset ontology. To address the second problem, we combined the contributions of the follow-up works into MultiWOZ 2.1. Hence, our dataset also includes user dialogue acts as well as multiple slot descriptions per dialogue state slot. We then benchmark a number of state-of-the-art dialogue state tracking models on the MultiWOZ 2.1 dataset and show the joint state tracking performance on the corrected state annotations. We are publicly releasing MultiWOZ 2.1 to the community, hoping that this dataset resource will allow for more effective models across various dialogue subproblems to be built in the future.

연구 동기 및 목표

• 원본 MultiWOZ 2.0의 대화 상태 주석에서 발생하는 노이즈와 일관성 없는 문제를 해결하여 모델 성능 향상을 도모한다.
• 다양한 수정된 버전의 데이터셋이 산재해 있는 문제를 해결하기 위해 여러 수정된 버전을 하나의 통합된 릴리스로 통합한다.
• 인류 기반 레이블링을 통해 32%의 상태 주석을 보정하고 146개의 발화를 표준화함으로써 데이터 품질을 향상시킨다.
• 'dontcare' 및 'none' 레이블에 대한 더 나은 모델링을 위해 사용자 대화 액션과 슬롯 설명을 추가하여 제로샷 및 저자원 NLU 능력을 향상시킨다.
• 보정된 데이터를 기반으로 최신 모델을 사용해 강력한, 업데이트된 베이스라인을 제공함으로써 공정한 성능 비교를 가능하게 한다.

제안 방법

• 슬롯 값과 상태 주석의 오류를 수정하기 위해 대화 상태와 발화를 인류 기반으로 재주석화하였다.
• 오니톨로지와 일치하도록 슬롯 값을 표준화하여 어휘 변형을 줄였다.
• 이전 연구에서 제안된 사용자 대화 액션과 슬롯 당 다수의 설명을 통합하여 단일 데이터셋으로 통합하였다.
• 공식 오니톨로지와 일치하도록 발화를 정렬하여 146개의 발화를 수리함으로써 일관성을 향상시켰다.
• 보정된 MultiWOZ 2.1 데이터셋에서 다섯 가지 최신 대화 상태 추적 모델(FJST, HJST, TRADE, DST Reader, HyST)을 평가하였다.
• 모든 이전 사용자 및 시스템 발화를 포함하는 대화 기록 인코딩 전략을 사용하여 상태 추적을 수행하였다.

실험 결과

연구 질문

• RQ1 MultiWOZ 2.0의 노이즈 있는 대화 상태 주석을 보정함으로써 최신 대화 상태 추적 모델의 성능에 어떤 영향을 미치는가?
• RQ2 사용자 대화 액션과 슬롯 설명의 통합이 다중 도메인 대화에서 모델의 일반화 능력과 제로샷 학습에 어떤 영향을 미치는가?
• RQ3 왜 보정된 MultiWOZ 2.1에서 평가할 경우 모든 모델에서 일관된 성능 하락이 발생하는가?
• RQ4 'dontcare' 및 'none' 레이블 보정이 사용자 선호도의 모호성 학습을 얼마나 어렵게 만드는가?
• RQ5 다양한 모델 아키텍처(예: 계층적 대비 평면형)는 보정된 데이터셋의 증가한 복잡성에 어떻게 반응하는가?

주요 결과

• 모든 평가된 모델의 공동 상태 추적 성능은 MultiWOZ 2.1에서 MultiWOZ 2.0보다 낮아졌으며, 평면형 공동 상태 추적기의 성능은 40.2%에서 38.0%로 하락했다.
• 성능 하락의 주요 원인은 'dontcare' 및 'none' 레이블 학습의 난이도 상승으로, 'dontcare' 예측 오류가 2.25배 증가했다.
• 평면형 공동 상태 추적기의 새로운 오류 중 13.4%는 'dontcare' 타겟에 대한 잘못된 예측에서 기인했으며, 이는 보정된 데이터가 사용자 모호성을 더 잘 반영하고 있음을 시사한다.
• 439개의 새로운 오류(총 오류의 32%)는 올바른 레이블이 'none'임에도 불구하고 값 예측을 한 경우로, 이는 데이터셋이 불필요한 슬롯 채우기 처리를 더 엄격하게 다룬다는 것을 반영한다.
• 슬롯 정확도 하락 폭이 가장 컸던 것은 'restaurant.name'이었으며(87.02%에서 83.33%로), 주로 올바르게 주석된 상태에서의 모델 오류로 인한 것으로, 이름 추출의 과제를 시사한다.
• 성능 하락에도 불구하고, 보정된 데이터는 대화 상태 추적 모델 평가를 위한 더 신뢰할 수 있는 벤치마크를 제공하며, 데이터 노이즈에서 기인하는 모델 오류를 분리시킨다.