[논문 리뷰] Global-Locally Self-Attentive Dialogue State Tracker

Victor W. Zhong, Caiming Xiong외 1명|arXiv (Cornell University)|2018. 05. 19.

Speech and dialogue systems참고 문헌 35인용 수 70

한 줄 요약

GLAD는 DST를 위한 글로벌-로컬 자기주 attentice 인코더를 도입하여 슬롯 간 매개변수를 공유하면서 슬롯별 특징을 학습하고, WoZ와 DSTC2에서 최첨단 결과를 달성합니다. 전역-로컬 매개변수 공유와 자기주의를 통해 희귀한 슬롯-값 쌍 추적을 향상시킵니다.

ABSTRACT

Dialogue state tracking, which estimates user goals and requests given the dialogue context, is an essential part of task-oriented dialogue systems. In this paper, we propose the Global-Locally Self-Attentive Dialogue State Tracker (GLAD), which learns representations of the user utterance and previous system actions with global-local modules. Our model uses global modules to share parameters between estimators for different types (called slots) of dialogue states, and uses local modules to learn slot-specific features. We show that this significantly improves tracking of rare states and achieves state-of-the-art performance on the WoZ and DSTC2 state tracking tasks. GLAD obtains 88.1% joint goal accuracy and 97.1% request accuracy on WoZ, outperforming prior work by 3.7% and 5.5%. On DSTC2, our model obtains 74.5% joint goal accuracy and 97.5% request accuracy, outperforming prior work by 1.1% and 1.0%.

연구 동기 및 목표

• DST 데이터셋에서 희귀한 슬롯-값 쌍 문제를 해결하여 대화 상태 추적을 개선하려는 동기 부여.
• 매개변수를 슬롯 간 공유하되 슬롯별 특징을 학습하는 글로벌-로컬 자기 주의 인코더를 제안.
• 핸드하크 렉시콘 없이 엔드투엔드 학습을 통해 WoZ 및 DSTC2에서 최첨단 성능을 시연.

제안 방법

• 전역 모듈(global module)으로 모든 슬롯 간의 일반적 특징을 포착하기 위해 글로벌 Bidirectional LSTM 사용.
• 특정 슬롯에 조건부로 작동하는 로컬 모듈(local module)로 로컬 Bidirectional LSTM 사용.
• 글로벌 인코딩과 로컬 인코딩을 슬롯별 가중치로 결합하여 최종 인코더 표현(beta^s) 형성.
• 글로벌 및 로컬 자기주의를 적용하여 컨텍스트 벡터(c^g 및 c^s)를 계산하고 글로벌-로컬 주의 컨텍스트(c) 형성.
• GLAD 인코더로 사용자 발화, 이전 시스템 동작, 슬롯-값 쌍을 인코딩한 뒤, 발화에서 나온 점수와 동작에서 나온 점수의 두 점수화기와 학습된 가중치를 사용해 최종 점수 산출.

실험 결과

연구 질문

• RQ1 슬롯 간 매개변수 공유가 슬롯별 표현을 유지하면서 DST를 개선하고 특히 희귀한 슬롯-값 쌍에 대해 이점이 있는가?
• RQ2 글로벌 및 로컬 자기 주의 구성요소가 턴 단위 및 공동 목표 추적의 보완적 이점을 제공하는가?
• RQ3 GLAD가 잡음이 포함된 ASR 조건의 DSTC2( DSTC2 )과 깨끗한 발화의 WoZ에서 이전의 최첨단 성능에 비해 어떤 성능을 보이는가?

주요 결과

데이터셋	턴 목표	공동 목표	턴 요청
DSTC2	74.5 ±0.2%	88.1 ±0.4%	97.5 ±0.1%
WoZ	88.1 ±0.4%	-	97.1 ±0.2%

• GLAD는 최첨단 결과를 달성한다: WoZ에서 공동 목표 정확도 88.1%, 요청 정확도 97.1%.
• GLAD는 DSTC2에서 공동 목표 정확도 74.5%, 요청 정확도 97.5%를 달성.
• 절단 연구는 글로벌-로컬 공유와 자기주의가 희귀한 슬롯-값 쌍에 대한 강건성을 높이고, 글로벌 공유 또는 슬롯별 구성 요소를 제거한 변형보다 성능이 우수함을 보여준다.
• WoZ에서 GLAD는 공동 목표 정확도에서 이전 최고를 3.7% 포인트, 턴 수준 요청 정확도에서 5.5% 포인트 더 향상시킨다.
• DSTC2에서 GLAD는 공동 목표 정확도에서 이전 최고를 1.1% 포인트, 턴 수준 요청 정확도에서 1.0% 포인트 더 향상시킨다.