[논문 리뷰] Toward Scalable Neural Dialogue State Tracking Model

Elnaz Nouri, Ehsan Hosseini-Asl|arXiv (Cornell University)|2018. 12. 03.

Topic Modeling참고 문헌 9인용 수 20

한 줄 요약

이 논문은 슬롯 유형 임bedding에 조건이 되는 단일 전역 순환 네트워크로 슬롯별로 별도의 순환 네트워크를 대체함으로써 신경 대화 상태 추적에서 지연 시간을 줄이는 글로벌 조건부 인코더(GCE) 모델을 제안한다. 이 모델은 단일 및 다중 도메인 벤치마크에서 최신 기술 수준의 성능를 달성하면서 GLAD 모델 대비 평균 35%의 훈련 및 추론 지연 시간을 감소시켰고, Multi-WoZ 데이터셋에서 공동 목표 및 턴 요청 정확도 향상을 보였다.

ABSTRACT

The latency in the current neural based dialogue state tracking models prohibits them from being used efficiently for deployment in production systems, albeit their highly accurate performance. This paper proposes a new scalable and accurate neural dialogue state tracking model, based on the recently proposed Global-Local Self-Attention encoder (GLAD) model by Zhong et al. which uses global modules to share parameters between estimators for different types (called slots) of dialogue states, and uses local modules to learn slot-specific features. By using only one recurrent networks with global conditioning, compared to (1 + \# slots) recurrent networks with global and local conditioning used in the GLAD model, our proposed model reduces the latency in training and inference times by $35\%$ on average, while preserving performance of belief state tracking, by $97.38\%$ on turn request and $88.51\%$ on joint goal and accuracy. Evaluation on Multi-domain dataset (Multi-WoZ) also demonstrates that our model outperforms GLAD on turn inform and joint goal accuracy.

연구 동기 및 목표

• 생산 시스템에의 구현을 방해하는 최신 기술 수준의 신경 대화 상태 추적 모델의 높은 지연 시간을 해결하기 위해.
• GLAD에서 사용하는 슬롯별로 별도의 순환 네트워크를 제거함으로써 순차 모델링의 계산 복잡도를 감소시키기 위해.
• 추론 및 훈련 시간을 크게 줄이면서도 추적 정확도를 유지하거나 향상시키기 위해.
• 개선된 아키텍처를 다중 도메인 대화 상태 추적 시나리오로 일반화하기 위해.

제안 방법

• GLAD에서 사용하는 슬롯별로 별도의 순환 및 자기주의 네트워크를 슬롯 유형 임베딩에 조건이 되는 단일 공유 순환 네트워크로 대체한다.
• 모든 슬롯에 걸쳐 공유되는 파라미터를 가지는 글로벌 조건부 인코더를 사용해 사용자 발화 및 시스템 동작 표현을 계산한다.
• 유저 발화 표현과 슬롯 값 후보 간의 유사도 점수를 계산하기 위해 어텐션 메커니즘을 사용한다.
• 사용자 발화 기반 및 시스템 동작 기반 점수를 학습된 가중치 합으로 조합하고, 시그모이드 함수로 정규화한다.
• 슬롯 값 예측 작업에 대해 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 아키텍처 변경 없이도 단일 도메인(WoZ) 및 다중 도메인(Multi-WoZ) 설정에 동일한 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 슬롯별로 별도의 인코더를 사용하지 않고도 단일 전역 조건부 순환 인코더가 추적 정확도를 손상시키지 않고 대체될 수 있는가?
• RQ2 전역 파라미터 공유가 신경 대화 상태 추적에서 훈련 및 추론 지연 시간을 얼마나 줄일 수 있는가?
• RQ3 제안된 모델이 다중 도메인 대화 상태 추적 벤치마크에 효과적으로 일반화되는가?
• RQ4 공동 목표 및 턴 단위 정확도 측면에서 제안된 모델이 GLAD에 비해 어떻게 성능를 발휘하는가?

주요 결과

• WoZ 데이터셋에서 GCE 모델은 공동 목표 정확도 88.51%와 턴 요청 정확도 97.38%를 기록했으며, GLAD(88.1% 및 97.1%)를 略히 초월했다.
• 모델은 평균적으로 훈련 시간을 35% 감소시키고 추론 시간도 35% 감소시켰으며, 배치 처리 시간은 훈련 중 1.78초에서 1.16초로 감소했다.
• Multi-WoZ 데이터셋에서 GCE 모델은 턴 정보 정확도를 67.88%로 향상시켰다(GPAD: 66.89%), 공동 목표 정확도는 35.58%로 상승시켰다(GPAD: 35.57%).
• 슬롯 간의 파라미터 공유를 통해 모델 복잡도를 감소시키면서도 높은 성능를 유지한다.
• 도메인 특화 수정 없이도 다중 도메인 환경으로의 일반화가 효과적으로 이루어진다.