[논문 리뷰] Zero-shot Generalization in Dialog State Tracking through Generative Question Answering

S. X. Li, Jin Cao외 5명|arXiv (Cornell University)|2021. 01. 20.

Topic Modeling참고 문헌 46인용 수 5

한 줄 요약

이 논문은 온톨로지 없이 생성형 질문-답변 프레임워크를 제안하여 대화 상태 추적(DST)을 위한 자연어 질의에 대한 답변을 생성하는 조건부 언어 모델을 사용함으로써, 알려지지 않은 도메인, 슬롯, 값으로의 제로샷 일반화를 가능하게 한다. 이는 MultiWOZ 2.1에서 최신 기술 수준의 제로샷 공동 목표 정확도를 달성하며, 이전 방법 대비 최대 9%의 절대적 향상을 보였다.

ABSTRACT

Dialog State Tracking (DST), an integral part of modern dialog systems, aims to track user preferences and constraints (slots) in task-oriented dialogs. In real-world settings with constantly changing services, DST systems must generalize to new domains and unseen slot types. Existing methods for DST do not generalize well to new slot names and many require known ontologies of slot types and values for inference. We introduce a novel ontology-free framework that supports natural language queries for unseen constraints and slots in multi-domain task-oriented dialogs. Our approach is based on generative question-answering using a conditional language model pre-trained on substantive English sentences. Our model improves joint goal accuracy in zero-shot domain adaptation settings by up to 9% (absolute) over the previous state-of-the-art on the MultiWOZ 2.1 dataset.

연구 동기 및 목표

• 알려지지 않은 도메인, 슬롯 유형, 값에 대해 제로샷 일반화 문제를 해결하기 위해.
• 고정된 온톨로지에 의존하는 것을 제거하여 임의의 사용자 요구 사항을 위한 자연어 질의를 가능하게 하기 위해.
• 언어 모델의 일반화 능력과 소수의 전이 학습을 통해 제로샷 설정에서의 DST 성능을 향상시키기 위해.
• 재학습이나 온톨로지 업데이트 없이도 유연하고 확장 가능한 슬롯 질의를 지원하기 위해.
• 동적 서비스와 변화하는 요구 사항을 가진 실세계 대화 시스템에서의 강건성과 확장성을 입증하기 위해.

제안 방법

• 모델은 각 슬롯을 자연어 질문(예: '호텔의 가격 범위는 무엇인가요?')을 통해 질의하는 방식으로 DST를 생성형 질문-답변 작업으로 간주한다.
• 다양한 텍스트로 미리 훈련된 조건부 언어 모델을 사용하여 대화 기록을 바탕으로 슬롯 값을 생성함으로써, 알려지지 않은 슬롯에 대해 제로샷 추론이 가능해진다.
• 추론 시기에 임의의 자연어 질문을 지원하여, 사전에 슬롯 이름이나 값에 노출되지 않은 상태에서도 동적 질의가 가능해진다.
• 수치 및 시간적 값의 순서를 향상시키기 위해 대조 손실을 사용하여 모델을 미세조정함으로써 슬롯 예측 정밀도를 향상시킨다.
• 훈련 중에 슬롯 연속 예측을 통합하여 대화 턴 간의 맥락 유지 능력을 향상시킨다.
• 더 큰 다각도 데이터셋(DSTC8 등)을 사용한 전이 학습을 통해 다양한 도메인 간 제로샷 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 온톨로지에 접근할 수 없는 상태에서 대화 상태 추적 시스템이 알려지지 않은 도메인과 슬롯 유형으로 일반화할 수 있는가?
• RQ2 미리 훈련된 언어 모델을 활용한 생성형 질문-답변 접근 방식이 제로샷 DST에 얼마나 효과적인가?
• RQ3 슬롯 연속 예측과 데이터 증강이 제로샷 일반화에 얼마나 기여하는가?
• RQ4 정확도를 유지하거나 향상시키면서 자연어 질문이 고정된 슬롯 템플릿을 대체할 수 있는가?
• RQ5 제로샷 설정에서 모델은 지도 학습 기반 베이스라인과 이전 최고 성능 방법에 비해 어떻게 성능을 내는가?

주요 결과

• 제안된 모델은 MultiWOZ 2.1 데이터셋에서 제로샷 도메인 적응에 대해 이전 최고 성능 대비 9%의 절대적 정확도 향상을 달성하였다.
• 모든 도메인에서 제로샷 설정에서 평균 도메인 별 공동 정확도 향상률이 5.9%로, 이전 최고 성능 방법 대비 향상되었다.
• 재학습 없이도 최신 기술 수준의 지도 학습 기반 방법과 경쟁 가능한 성능을 보이며, 타겟 도메인에서의 미세조정 없이도 강력한 일반화 능력을 입증하였다.
• 슬롯 연속 예측을 통합함으로써 제로샷 DST 성능이 향상되었으며, 이는 이전 최고 성능 대비 공동 정확도를 11% 향상시켰다.
• 재학습 없이도 '인터넷 액세스'나 새로운 호텔 이름과 같은 알려지지 않은 슬롯 이름과 값을 효과적으로 일반화하였다.
• 도메인 내 독해 데이터(DSTC8 등)를 활용한 데이터 증강을 통해 의미적으로 유사한 슬롯, 예를 들어 '이름' 또는 '가격 범위'를 다양한 도메인 간에 더 잘 구분할 수 있게 되었다.