[논문 리뷰] Non-Autoregressive Dialog State Tracking

Hung Lê, Richard Socher외 1명|arXiv (Cornell University)|2020. 02. 19.

Topic Modeling참고 문헌 33인용 수 25

한 줄 요약

이 논문은 학습된 번식도 수치를 사용하여 슬롯 수준과 토큰 수준에서의 종속성을 모델링함으로써 병렬적으로 대화 상태를 공동 예측하는 새로운 프레임워크인 비자기적 대화 상태 추적(NADST)을 제안한다. MultiWOZ 2.1에서 최고 성능을 기록하며 자동 회귀 기반 모델 대비 추론 지연 시간이 10배 이상 낮아진다.

ABSTRACT

Recent efforts in Dialogue State Tracking (DST) for task-oriented dialogues have progressed toward open-vocabulary or generation-based approaches where the models can generate slot value candidates from the dialogue history itself. These approaches have shown good performance gain, especially in complicated dialogue domains with dynamic slot values. However, they fall short in two aspects: (1) they do not allow models to explicitly learn signals across domains and slots to detect potential dependencies among (domain, slot) pairs; and (2) existing models follow auto-regressive approaches which incur high time cost when the dialogue evolves over multiple domains and multiple turns. In this paper, we propose a novel framework of Non-Autoregressive Dialog State Tracking (NADST) which can factor in potential dependencies among domains and slots to optimize the models towards better prediction of dialogue states as a complete set rather than separate slots. In particular, the non-autoregressive nature of our method not only enables decoding in parallel to significantly reduce the latency of DST for real-time dialogue response generation, but also detect dependencies among slots at token level in addition to slot and domain level. Our empirical results show that our model achieves the state-of-the-art joint accuracy across all domains on the MultiWOZ 2.1 corpus, and the latency of our model is an order of magnitude lower than the previous state of the art as the dialogue history extends over time.

연구 동기 및 목표

• 복잡한 다중 도메인 대화에서 자동 회귀 기반 대화 상태 추적 모델의 높은 추론 지연을 해결하기 위해.
• 도메인과 슬롯 간의 종속성을 명시적으로 모델링하여 공동 대화 상태 정확도를 향상시키기 위해.
• 성능을 희생시키지 않은 채 실시간 대화 시스템을 위한 병렬 디코딩을 가능하게 하기 위해.
• 슬롯 수준뿐만 아니라 슬롯 값 내의 토큰 수준에서도 종속성을 모델링하기 위해.
• 예측 품질을 유지하거나 향상시키면서도 자동 회귀 생성에 대한 의존도를 줄이기 위해.

제안 방법

• 모델은 두 단계의 디코딩 프로세스를 사용한다: 먼저 각 입력 토큰의 번식도 수치를 예측하여, 이는 토큰이 얼마나 자주 복제되어 구조화된 시퀀스를 형성할지를 결정한다.
• 번식도 수치는 대화 이력에 주의를 기울이며 각 입력 토큰이 얼마나 자주 복제되어야 할지를 예측하는 첫 번째 디코더를 통해 학습된다.
• 결과적으로 생성된 구조화된 시퀀스(슬롯 토큰 × 번식도)는 두 번째 디코더에 입력되며, 이는 모든 대화 상태 토큰을 병렬로 생성한다.
• 표현 학습과 어텐션 정렬을 향상시키기 위해 슬롯 게이팅과 위치 인코딩을 통합한다.
• 희귀하거나 OOV (Out-of-Vocabulary) 슬롯 값을 생성하기 위해 포인터 네트워크를 사용하여 오픈 밸류 설정에서의 커버리지 향상을 도모한다.
• 번식도가 보완된 입력에 대해 자기 주의 메커니즘을 적용하여 (도메인, 슬롯) 쌍 간의 종속성과 값 내 토큰 간의 종속성을 명시적으로 캡처한다.

실험 결과

연구 질문

• RQ1 비자기적 아키텍처가 추론 지연을 크게 줄이며 동시에 대화 상태 추적에서 최고 성능을 달성할 수 있는가?
• RQ2 번식도 수치를 모델링함으로써 더 나은 구조화된 시퀀스 생성과 (도메인, 슬롯, 값) 삼중조의 공동 예측 성능 향상을 이룰 수 있는가?
• RQ3 모델이 슬롯 수준과 토큰 수준에서 슬롯 값 간의 종속성을 탐지하고 활용하는가?
• RQ4 정확도와 속도 측면에서 비자기적 모델이 자동 회귀 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ5 슬롯 게이팅, 위치 인코딩, 포인터 네트워크와 같은 구성 요소들이 모델 성능에 얼마나 기여하는가?

주요 결과

• NADST는 MultiWOZ 2.1에서 66.65%의 공동 정확도를 기록하여 이전 방법들을 능가하는 새로운 최고 성능을 달성했다.
• 모델의 추론 지연은 이전 최고 성능 기준보다 10배 이상 낮아져 실시간 배포가 가능해졌다.
• 제거 실험 결과 슬롯 게이팅이나 위치 인코딩을 제거하면 성능이 10퍼센트 이상 감소하여 이들이 핵심적인 역할을 한다는 점을 입증했다.
• 모델은 'attraction-type'과 'attraction-name' 간의 토큰 수준 종속성을 성공적으로 캡처하여 공동 예측 정확도를 향상시켰다.
• 자기 주의 점수의 시각화 결과, 'train-departure'와 'train-destination' 간의 의미 있는 교차 슬롯 종속성을 모델이 학습한 것으로 확인되었다.
• 자기 회귀 버전의 모델도 비자기적 버전과 유사한 성능을 보이며, 번식도 예측의 효과성을 검증했다.