[논문 리뷰] From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap

Shuyang Gao, Sanchit Agarwal외 3명|arXiv (Cornell University)|2020. 04. 13.

Topic Modeling참고 문헌 24인용 수 16

한 줄 요약

이 논문은 대화 상태 추적(DST)을 기계적 독해(MRC) 작업으로 재정의함으로써 새로운 접근법을 제안한다. 카테고리형과 추출형 슬롯을 구분하여 다중선택형 및 스파니어 기반 MRC 모델을 활용한다. 이는 완전한 데이터 설정에서 최신 기술 수준의 성능을 달성하며, 소수의 샘플 및 제로샷 설정에서 이전 방법들을 크게 능가한다. 특히 도메인 내 훈련 데이터 없이도 30개 슬롯 중 12개에서 평균 슬롯 정확도가 90% 이상을 기록한다.

ABSTRACT

Dialogue state tracking (DST) is at the heart of task-oriented dialogue systems. However, the scarcity of labeled data is an obstacle to building accurate and robust state tracking systems that work across a variety of domains. Existing approaches generally require some dialogue data with state information and their ability to generalize to unknown domains is limited. In this paper, we propose using machine reading comprehension (RC) in state tracking from two perspectives: model architectures and datasets. We divide the slot types in dialogue state into categorical or extractive to borrow the advantages from both multiple-choice and span-based reading comprehension models. Our method achieves near the current state-of-the-art in joint goal accuracy on MultiWOZ 2.1 given full training data. More importantly, by leveraging machine reading comprehension datasets, our method outperforms the existing approaches by many a large margin in few-shot scenarios when the availability of in-domain data is limited. Lastly, even without any state tracking data, i.e., zero-shot scenario, our proposed approach achieves greater than 90% average slot accuracy in 12 out of 30 slots in MultiWOZ 2.1.

연구 동기 및 목표

• 다양한 도메인에서 레이블이 부여된 대화 상태 추적(DST) 데이터의 부족 문제를 해결하기 위해.
• 제한된 또는 도메인 내 훈련 데이터가 없는 경우에도 DST 모델의 일반화 성능을 향상시키기 위해.
• 기존에 존재하는 기계적 독해(MRC) 데이터셋과 모델의 풍부한 자원을 활용하여 DST 성능을 향상시키기 위해.
• 슬롯을 카테고리형과 추출형으로 분류하여 DST를 MRC 작업으로 통합하는 프레임워크를 개발하기 위해.
• MRC 기반 DST의 효과성을 완전한 데이터, 소수의 샘플, 제로샷 설정에서 입증하기 위해.

제안 방법

• 슬롯의 이름과 유형에 기반해 각 슬롯에 대해 질문을 생성함으로써 대화 상태 추적을 기계적 독해(MRC) 작업으로 재구성한다.
• 슬롯을 두 가지 유형으로 분류한다: 카테고리형(예: 주차: 예/아니요/신경 쓰지 않음)과 추출형(예: 호텔명), 각각 적절한 MRC 패러다임에 대응한다.
• 카테고리형 슬롯에는 다중선택형 MRC 모델을 사용하며, 답변은 고정된 선택지 집합에서 선택된다.
• 추출형 슬롯에는 스파니어 기반 MRC 모델을 사용하며, 답변은 대화 맥락 내의 스팬이다.
• 이중 단계 훈련 전략을 구현한다: 먼저 대규모 MRC 데이터셋(SQuAD, Natural Questions 등)에서 사전 훈련한 후, 대상 DST 데이터셋(MultiWOZ 2.1 등)에서 미세조정한다.
• 예측된 스팬을 표준화된 슬롯 값으로 매핑하기 위해 표준화(canonicalization)를 적용하여 정확성과 해석 가능성 향상.

실험 결과

연구 질문

• RQ1 기계적 독해 기법을 대화 상태 추적에 효과적으로 적용하여 도메인 내 레이블 데이터 의존도를 줄일 수 있는가?
• RQ2 소수의 샘플 및 제로샷 설정에서 MRC 기반 DST의 성능이 기존 방법과 비교해 어떻게 되는가?
• RQ3 미세조정 없이도 MRC 기반 통합 프레임워크가 다양한 슬롯 유형과 도메인에서 일반화 가능한가?
• RQ4 도메인 내 훈련 데이터가 전혀 없을 때 사전 훈련된 MRC 모델이 DST에 지식을 얼마나 효과적으로 전이할 수 있는가?
• RQ5 카테고리형과 추출형 슬롯 유형 간의 구분이 MRC 기반 DST의 효과성을 향상시키는가?

주요 결과

• 완전한 데이터 설정에서 제안된 방법은 MultiWOZ 2.1에서 거의 최신 기술 수준의 공동 목표 정확도를 달성하며, 완전한 훈련 데이터를 가진 경우 강력한 성능을 보여준다.
• 소수의 샘플 설정에서, 호텔 도메인 훈련 데이터의 1%만(약 20~30개 대화)을 사용해도 모델은 공동 목표 정확도 45.91%를 기록하며, 이는 이전 최고 성능인 19.73%를 크게 능가한다.
• 제로샷 설정에서 도메인 내 훈련 데이터 없이도 MultiWOZ 2.1에서 30개 슬롯 중 12개에서 평균 슬롯 정확도가 90% 이상을 기록한다.
• 스파니어 기반 MRC 모델은 실제 슬롯 값이 포함된 대화 맥락 내 관련 스팬을 성공적으로 식별하며, 이를 표준화하여 정확한 상태 예측을 도출한다.
• 제로샷 성능은 다양한 슬롯 유형에 대해 강건하며, 이전의 전이 기반 방법(예: TRADE)이 외부 도메인 슬롯(예: hotel.name)에서 어려움을 겪었던 데 비해 성능이 우수하다.
• 모델는 강력한 일반화 성능을 보이며, 대부분의 슬롯에서 제로샷 평가에서 최소 50% 이상의 평균 정확도를 기록하여 MRC 데이터에서의 지식 전이가 효과적임을 시사한다.