[논문 리뷰] Dialogue State Tracking with Pretrained Encoder for Multi-domain Trask-oriented Dialogue Systems.

Dingmin Wang, Chenghua Lin외 2명|arXiv (Cornell University)|2020. 04. 22.

Speech and dialogue systems참고 문헌 7인용 수 8

한 줄 요약

이 논문은 다중 도메인 대화 상태 추적(DST) 모델을 제안하며, DST를 세 가지 하위 작업으로 분해하고 도메인 유도 메커니즘을 활용하여 알려지지 않은 슬롯 값과 알려진 슬롯 값 모두를 향상된 방식으로 추적한다. MultiWOZ 데이터셋에서 이 모델은 기존 방법들을 능가하는 최고 성능을 기록한다.

ABSTRACT

In task-oriented dialogue systems, Dialogue State Tracking (DST) is a core component, responsible for tracking users' goals over the whole course of a conversation, which then are utilized for deciding the next action to take. Recently proposed approaches either treat DST as a classification task by scoring all enumerated slot value pairs, or adopt encoder-decoder models to generate states, which fall short in tracking unknown slot values or hold a high computational complexity. In this work, we present a novel architecture, which decomposes the DST task into three sub-tasks to jointly extract dialogue states. Furthermore, we enhance our model with a pretrained language model and introduce domain-guided information to avoid predicting slots not belonging to the current domain. Experimental results on a multi-turn multi-domain dataset (MultiWoz) demonstrate the effectiveness of our proposed model, which outperforms previously reported results.

연구 동기 및 목표

• 기존 DST 방법들이 알려지지 않은 슬롯 값 처리에 어려움을 겪거나 높은 계산 비용을 유발하는 데서 기인하는 한계를 해결하기 위해.
• 세 가지 하위 작업으로 분해함으로써 다중 도메인, 다중 라운드 대화에서의 대화 상태 추적 성능을 향상시키기 위해.
• 현재 대화 도메인과 관련이 없는 슬롯 예측을 방지하기 위해 도메인 유도 정보를 통합하기 위해.
• 사전 훈련된 언어 모델을 활용하여 더 나은 상태 추적을 위한 문맥 표현 학습을 향상시키기 위해.

제안 방법

• 모델은 대화 상태 추적을 세 가지 하위 작업으로 분해한다: 슬롯 탐지, 값 탐지, 도메인 인식 슬롯-값 연결.
• 대화 역사에 대한 rich한 문맥 표현을 캡처하기 위해 사전 훈련된 언어 모델(예: BERT)을 인코더로 활용한다.
• 현재 도메인 외부의 슬롯 값 예측을 억제하기 위해 도메인 유도 어텐션 메커니즘을 도입한다.
• 세 하위 작업을 통합된 손실 함수를 사용해 동시에 최적화함으로써 슬롯과 값 간의 정렬을 향상시킨다.
• 최종 대화 상태를 예측하기 위해 슬롯-값 쌍 점수 기반 메커니즘을 사용하며, 도메인별 마스킹을 통해 제약 조건을 적용한다.
• 멀티태스크 학습 목표를 기반으로 MultiWOZ 데이터셋에서 엔드 투 엔드로 아키텍처를 훈련시킨다.

실험 결과

연구 질문

• RQ1 세 가지 하위 작업으로 DST를 분해하는 것이 다중 도메인, 다중 라운드 대화에서 추적 성능 향상에 기여하는가?
• RQ2 사전 훈련된 언어 모델의 통합이 상태 추적을 위한 복잡한 대화 문맥을 포괄적으로 포착하는 데 얼마나 효과적인가?
• RQ3 도메인 유도 정보가 현재 도메인 외부의 슬롯 값 예측을 어느 정도 줄이는가?
• RQ4 기존의 분류 기반 또는 생성 기반 접근 방식에 비해 제안된 방법이 알려지지 않은 또는 희귀한 슬롯 값으로의 일반화 성능을 더 잘 향상시키는가?

주요 결과

• 제안된 모델은 MultiWOZ 벤치마크에서 최고 성능을 기록하며, 이전에 보고된 결과들을 모두 능가한다.
• 사전 훈련된 언어 모델의 사용은 모델이 대화의 장거리 의존성과 문맥적 미묘함을 포착하는 능력을 크게 향상시킨다.
• 도메인 유도 메커니즘이 현재 대화 도메인에 속하지 않는 슬롯 값의 예측을 효과적으로 감소시킨다.
• 세 가지 하위 작업으로 DST를 분해함으로써, 공동 분류나 시퀀스 생성 방법에 비해 더 정확하고 강건한 슬롯-값 정렬이 가능해진다.
• 사전 훈련된 인코더에서 유도된 더 나은 문맥 표현 덕분에 희귀하거나 알려지지 않은 슬롯 값으로의 일반화 성능이 향상된다.
• 전반적인 아키텍처는 이전 방법들보다 높은 정확도를 달성하면서도 합리적인 계산 효율성을 유지한다.