[논문 리뷰] Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems

Chien-Sheng Wu, Andrea Madotto외 4명|arXiv (Cornell University)|2019. 05. 21.

Speech and dialogue systems참고 문헌 43인용 수 42

한 줄 요약

TRADE는 미리 정의된 온톨로지 없이 도메인 간에 이전 가능한 대화 상태를 생성하여 제로샷 및 퓨샷 도메인 적응을 가능하게 하며, MultiWOZ에서 공동 목표 및 슬롯 정확도도 강하게 달성합니다.

ABSTRACT

Over-dependence on domain ontology and lack of knowledge sharing across domains are two practical and yet less studied problems of dialogue state tracking. Existing approaches generally fall short in tracking unknown slot values during inference and often have difficulties in adapting to new domains. In this paper, we propose a Transferable Dialogue State Generator (TRADE) that generates dialogue states from utterances using a copy mechanism, facilitating knowledge transfer when predicting (domain, slot, value) triplets not encountered during training. Our model is composed of an utterance encoder, a slot gate, and a state generator, which are shared across domains. Empirical results demonstrate that TRADE achieves state-of-the-art joint goal accuracy of 48.62% for the five domains of MultiWOZ, a human-human dialogue dataset. In addition, we show its transferring ability by simulating zero-shot and few-shot dialogue state tracking for unseen domains. TRADE achieves 60.58% joint goal accuracy in one of the zero-shot domains, and is able to adapt to few-shot cases without forgetting already trained domains.

연구 동기 및 목표

• 고정 온톨로지를 가진 DST의 어려움과 도메인 간 지식 공유의 부족 문제를 해결한다.
• 알려지지 않은 슬롯 값의 추적 및 도메인 간 지식 전이를 가능하게 한다.
• 제로샷 및 퓨샷 적응을 지원하는 온톨로지 자유의 다도메인 DST를 개발한다.

제안 방법

• 도메인에 공통된 3단 아키텍처: 발화 인코더, 맥락 강화 슬롯 게이트, 상태 생성기.
• 고정 어휘를 넘는 슬롯 값을 생성할 수 있게 하는 연성 게이트 복사 메커니즘(포인터-생성기).
• 값 생성을 위해 각 (도메인, 슬롯) 페어에 시작 토큰을 두고 모든 페어에 대해 공동 디코딩.
• (도메인, 슬롯) 쌍이 값을 산출하는지 결정하는 3방향 슬롯 게이트(Triggered, None, Dontcare).
• 슬롯 게이트 손실과 값 생성 손실의 가중합으로 엔드-투-엔드 최적화.

실험 결과

연구 질문

• RQ1 여러 도메인 간에 공유되는 온톨로지 없는 모델이 대화 상태를 정확히 추적할 수 있는가?
• RQ2 모델이 보지 못한 도메인으로의 지식 전이(zero-shot) 및 제한된 데이터로의 적응(few-shot)을 통해 이전에 학습한 도메인을 망각하지 않고 어느 정도까지 가능할까?
• RQ3 교차 도메인 매개변수 공유가 다도메인 DST에서 공동 목표 정확도와 슬롯 정확도에 어떤 영향을 미치는가?

주요 결과

데이터셋	공동	슬롯	데이터셋(레스토랑)	공동 목표(레스토랑)	슬롯(레스토랑)
MDBT	15.57	89.53	-	-	-
GLAD	35.57	95.44	-	-	-
GCE	36.27	98.42	60.93	95.85	-
SpanPtr	30.28	93.85	49.12	87.89	-
TRADE	48.62	96.92	65.35	93.28	-

• TRADE는 MultiWOZ 다섯 도메인에서 공동 목표 정확도 48.62%와 슬롯 정확도 96.92%로 최첨단 수준을 달성한다.
• 제로샷 택시 도메인에서 공동 목표 정확도 60.58%에 도달하여 강력한 도메인 간 전이를 보여준다.
• unseen 슬롯 및 도메인에 대해 제로샷 DST를 지원하고, 이전에 학습한 도메인을 잊지 않고 퓨샷 도메인에 적응한다.
• 도메인 확장에서 GEM 기반 파인 튜닝은 원래 도메인의 성능을 순진한 파인 튜닝이나 EWC보다 잘 보존하면서 새로운 도메인에 더 잘 적응하게 한다.
• MultiWOZ의 레스토랑 도메인에서 TRADE의 공동 정확도 65.35%와 슬롯 정확도 93.28%는 온톨로지 프리 전체 설정을 사용할 때 SpanPtr 및 다른 베이스라인보다 우수하다.