[논문 리뷰] Schema-Guided Dialogue State Tracking Task at DSTC8

Abhinav Rastogi, Xiaoxue Zang외 3명|arXiv (Cornell University)|2020. 02. 02.

Topic Modeling참고 문헌 29인용 수 32

한 줄 요약

이 논문은 DSTC8에서 Schema-Guided Dialogue State Tracking (SGDST) 작업을 제시하며, 16개 도메인과 다수 API에 걸친 대규모 SGD 데이터셋, 스키마-가이드 모델링 접근법, 그리고 unseen API에 대한 제로샷 일반화에 중점을 둔 다양한 제출 모델들을 소개한다.

ABSTRACT

This paper gives an overview of the Schema-Guided Dialogue State Tracking task of the 8th Dialogue System Technology Challenge. The goal of this task is to develop dialogue state tracking models suitable for large-scale virtual assistants, with a focus on data-efficient joint modeling across domains and zero-shot generalization to new APIs. This task provided a new dataset consisting of over 16000 dialogues in the training set spanning 16 domains to highlight these challenges, and a baseline model capable of zero-shot generalization to new APIs. Twenty-five teams participated, developing a range of neural network models, exceeding the performance of the baseline model by a very high margin. The submissions incorporated a variety of pre-trained encoders and data augmentation techniques. This paper describes the task definition, dataset and evaluation methodology. We also summarize the approach and results of the submitted systems to highlight the overall trends in the state-of-the-art.

연구 동기 및 목표

• 대규모 가상 도우미를 위한 데이터 효율적이고 크로스 도메인 DST 모델 구축의 동기를 제공한다.
• 단일 마스터 스키마 없이 겹치는 기능을 갖는 다수의 API를 처리하기 위한 스키마-가이드 패러다임을 제공한다.
• 크로스도메인 및 제로샷 일반화를 테스트하기 위해 16개 도메인과 45개의 합성 서비스로 구성된 SGD 데이터셋을 도입한다.
• 여러 제출을 평가하고 unseen API에서의 제로샷 DST에 효과적인 기법을 식별한다.

제안 방법

• 각 서비스가 자연어 설명이 포함된 의도와 슬롯의 스키마를 제공하는 스키마-가이드 접근법을 제안한다.
• 도메인별 매개변수 없이 서비스 전반의 대화 상태를 예측하기 위해 시맨틱 스키마 요소에 조건부된 단일 통합 모델을 학습한다.
• 사전학습 인코더(BERT 등)와 데이터 증가를 사용하여 unseen API에 대한 제로샷 일반화를 가능하게 한다.
• 대화 턴을 서비스별 프레임으로 표현하고 스키마 설명을 사용하여 의도/슬롯을 인코딩한다.
• 제로샷 및 크로스 도메인 능력을 테스트하기 위해 unseen 서비스와 도메인이 포함된 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 마스터 스키마 없이도 다수의 도메인과 중첩되는 API에서 효과적인 대화 상태 추적이 가능한 스키마-가이드 모델인가?
• RQ2 스키마 설명에 조건부된 상태에서 unseen 서비스와 도메인(제로샷)에 모델이 얼마나 잘 일반화하는가?
• RQ3 대규모 가상 도우미에서 크로스도메인 및 제로샷 DST 능력을 가장 잘 드러내는 데이터셋 및 평가 설계는 무엇인가?
• RQ4 스키마 의미를 DST across unseen APIs에 가장 잘 활용하는 모델링 및 데이터 증가 전략은 무엇인가?

주요 결과

• SGDST는 16개 도메인에 걸쳐 unseen API에 대한 강한 제로샷 일반화를 가능하게 한다.
• 사전학습 인코더와 데이터 증가(back-translation) 등의 최상위 제출이 unseen 서비스에서 높은 joint goal 정확도를 달성한다.
• 수상 팀은 테스트 세트에서 86.53%의 joint goal 정확도를 달성했으며 unseen 서비스와 도메인에서 주목할 만한 이점을 보였다.
• 평가 결과, 카테고리 슬롯의 unseen-도메인 성능이 seen-도메인 성능에 근접할 수 있으며, 다른 팀들에 비해 차이는 더 크게 나타났다.
• 다수의 접근 방식은 스키마 설명을 통해 서비스/슬롯/의도 설명을 인코딩하고, 분류기, QA 스타일의 스팬, 또는 멀티태스크 BERT 기반 모델로 문제를 다루는 경향이 있다.