[논문 리뷰] Dialog state tracking, a machine reading approach using Memory Network

Julien Pérez, Fei Liu|arXiv (Cornell University)|2016. 06. 13.

Speech and dialogue systems참고 문헌 31인용 수 14

한 줄 요약

이 논문은 MemN2N, 즉 메모리 강화 신경망을 사용하여 기계 독해 작업으로서 대화 상태 추적을 재정의함으로써 새로운 대화 상태 추적 방법을 제안한다. 이는 DSTC-2에서 74%의 공동 정확도를 달성하며, 세는 것과 예/아니요 질문과 같은 추론 작업을 포함하도록 벤치마크를 확장하여 표준 슬롯 채우기 이외의 근사 추론 능력을 보여준다.

ABSTRACT

In an end-to-end dialog system, the aim of dialog state tracking is to accurately estimate a compact representation of the current dialog status from a sequence of noisy observations produced by the speech recognition and the natural language understanding modules. This paper introduces a novel method of dialog state tracking based on the general paradigm of machine reading and proposes to solve it using an End-to-End Memory Network, MemN2N, a memory-enhanced neural network architecture. We evaluate the proposed approach on the second Dialog State Tracking Challenge (DSTC-2) dataset. The corpus has been converted for the occasion in order to frame the hidden state variable inference as a question-answering task based on a sequence of utterances extracted from a dialog. We show that the proposed tracker gives encouraging results. Then, we propose to extend the DSTC-2 dataset with specific reasoning capabilities requirement like counting, list maintenance, yes-no question answering and indefinite knowledge management. Finally, we present encouraging results using our proposed MemN2N based tracking model.

연구 동기 및 목표

• 고정된 발화 윈도우에 의존하고 슬롯 간 상관관계 모델링이 부족한 기존 대화 상태 추적기의 한계를 해결하기 위해.
• 대화 상태 추적을 기계 독해 문제로 재정의하여, 발화 수준에서 관련 대화 이력을 주목할 수 있도록 하기 위해.
• 세는 것, 목록 유지, 예/아니요 질문, 무한정 지식 관리와 같은 추론 기능을 포함하도록 DSTC-2 데이터셋을 확장하기 위해.
• MemN2N이 표준 슬롯 채우기 작업과 복잡한 추론 작업을 모두 처리하는 데 효과적인지 평가하기 위해.
• 메모리 보강 네트워크가 최소한의 주석 오버헤드로도 확장 가능하고 추론 능력이 향상된 대화 상태 추적을 지원할 수 있음을 보여주기 위해.

제안 방법

• 각 슬롯이 대화 이력에 대한 질문이 되도록 대화 상태 추적 작업을 질문-답변 문제로 재정의한다.
• MemN2N 아키텍처를 사용하여 대화 이력을 처리하고, 다중 힙을 거쳐 관련된 발화에 주목하여 슬롯 값을 추론한다.
• 각 발화가 벡터 공간으로 임bedded되며, 메모리 블록은 과거 대화 턴의 표현을 저장하여 주목 기반 추론을 수행한다.
• 모델은 각 힙에서 주목 가중치를 계산함으로써 관련된 대화 부분에 대한 집중을 반복적으로 개선하는 다중 힙 주목 메커니즘을 사용한다.
• 모든 가중치에 대해 Xavier 초기화를 사용하고 L2 정규화를 적용한 경사 하강법을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 모델은 표준 DSTC-2 슬롯 채우기 작업과 예/아니요 질문, 세는 것, 목록 유지, 무한정 지식과 같은 확장된 추론 작업 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 메모리 보강 신경망을 사용하여 대화 상태 추적을 기계 독해 문제로 효과적으로 재정의할 수 있는가?
• RQ2 MemN2N 아키텍처가 복잡한 추론을 처리하면서도 표준 판별 모델보다 우수한 성능을 보일 수 있는가?
• RQ3 제안된 프레임워크는 슬롯 채우기 외에도 세는 것과 목록 유지와 같은 추론을 대화 맥락 내에서 지원할 수 있는가?
• RQ4 발화 수준의 주석이 아닌 대화 수준의 주석으로 훈련했을 때 모델의 성능은 어떻게 되는가?
• RQ5 추론 작업을 포함하도록 확장된 DSTC-2 데이터셋은 추론 인식 대화 상태 추적기 평가를 위한 벤치마크로 기능할 수 있는가?

주요 결과

• MemN2N 모델은 표준 DSTC-2 테스트 세트에서 74%의 공동 정확도를 달성하여 기준 RNN 및 NBT 모델을 초월했다.
• 추론 작업에서, 40차원 임베딩을 사용할 경우 예/아니요 질문에 대해 96%의 정확도, Area 슬롯의 목록 유지 작업에 대해 75%의 정확도를 기록했다.
• 세는 작업에서 40차원 임베딩을 사용할 경우 PriceRange 슬롯에서 80%의 정확도를 달성하여 뛰어난 성능을 보였다.
• 무한정 지식(I.K.) 처리에서는 Food에 대해 89%, Area에 대해 90%의 정확도를 기록하여 'dontcare' 및 유사 개념을 잘 다루는 것으로 나타났다.
• 특히 슬롯 간 복잡한 종속성을 다룰 때 비메모리 보강 모델에 비해 추론 작업에서 더 뛰어난 일반화 성능을 보였다.
• 결과적으로 메모리 보강 네트워크는 추론 능력이 향상된 대화 상태 추적에 매우 적합하며, 규칙 기반 또는 수작업 시스템에 비해 확장 가능한 대안을 제공한다.