[논문 리뷰] Flexible and Scalable State Tracking Framework for Goal-Oriented Dialogue Systems

Rahul Goel, Shachi Paul외 4명|arXiv (Cornell University)|2018. 11. 30.

Speech and dialogue systems참고 문헌 25인용 수 22

한 줄 요약

이 논문은 사전에 정의된 값 집합이 없이 이산 상태 변수를 학습하는 도메인 무관이고 확장 가능한 대화 상태 추적 프레임워크를 제안한다. 이는 새로운 도메인과 다중 값 슬롯에 대한 탄력적인 확장이 가능하게 한다. 동적으로 생성된 후보 집합에 대한 이진 분류를 사용하고 사전 학습된 임베딩을 활용함으로써, 폐쇄 어휘 가정이나 복잡한 아키텍처에 의존하지 않고 DSTC2에서 경쟁 가능한 성능을 달성한다.

ABSTRACT

Goal-oriented dialogue systems typically rely on components specifically developed for a single task or domain. This limits such systems in two different ways: If there is an update in the task domain, the dialogue system usually needs to be updated or completely re-trained. It is also harder to extend such dialogue systems to different and multiple domains. The dialogue state tracker in conventional dialogue systems is one such component - it is usually designed to fit a well-defined application domain. For example, it is common for a state variable to be a categorical distribution over a manually-predefined set of entities (Henderson et al., 2013), resulting in an inflexible and hard-to-extend dialogue system. In this paper, we propose a new approach for dialogue state tracking that can generalize well over multiple domains without incorporating any domain-specific knowledge. Under this framework, discrete dialogue state variables are learned independently and the information of a predefined set of possible values for dialogue state variables is not required. Furthermore, it enables adding arbitrary dialogue context as features and allows for multiple values to be associated with a single state variable. These characteristics make it much easier to expand the dialogue state space. We evaluate our framework using the widely used dialogue state tracking challenge data set (DSTC2) and show that our framework yields competitive results with other state-of-the-art results despite incorporating little domain knowledge. We also show that this framework can benefit from widely available external resources such as pre-trained word embeddings.

연구 동기 및 목표

• 고정된 수동으로 정의된 슬롯-값 집합에 의존하는 전통적 대화 상태 추적기의 유연성 부족 문제를 해결하기 위해.
• 재학습이나 핵심 컴포넌트 재설계 없이도 새로운 도메인과 복잡한 사용 사례에 대한 대화 시스템의 쉽게 확장 가능하게 하기 위해.
• 다중 값 슬롯과 임의의 슬롯 값 언급, 특히 어휘 외(Out-of-Vocabulary, OOV) 용어를 지원하기 위해.
• 폐쇄 어휘 가정이나 명시적 룰 기반 업데이트 없이도 확장 가능하고 도메인 무관인 프레임워크를 개발하기 위해.
• 최소한의 도메인 특화 지식을 사용하여 DSTC2 벤치마크에서 접근의 타당성과 경쟁력을 입증하기 위해.

제안 방법

• 프레임워크는 각 대화 상태 변수를 별개로 다루며, 동적으로 생성된 후보 집합에 대한 이진 분류를 통해 그 값을 학습한다.
• 후보들은 발화의 n-그램과 SLU(Semantic Language Understanding) 출력에서 유도되며, 고정된 온톨로지에 의존하지 않는다.
• 발화를 표현하기 위해 사전 학습된 단어 임베딩을 사용하여, 미리 보지 않은 슬롯 값에 대한 일반화 능력을 향상시킨다.
• 다중 값 슬롯을 지원하기 위해 동시에 여러 값에 대한 확률을 추정하며, 소프트맥스 기반 모델이 단일 값에 제한되는 것과는 달리 유연하다.
• 다양한 모델의 앙상블은 특히 변동성이 높은 설정에서 성능 향상을 이룬다.
• 엔드 투 엔드 학습을 피하기 위해 기호적 이산 상태를 유지함으로써 해석 가능성과 후속 API와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 슬롯-값 집합이 없이도 도메인 간 일반화가 가능한 대화 상태 추적기를 설계할 수 있는가?
• RQ2 어떻게 상태 추적 프레임워크가 다중 값 및 어휘 외 슬롯 값을 효과적으로 지원할 수 있는가?
• RQ3 폐쇄 어휘 가정 없이도 표준 벤치마크인 DSTC2에서 경쟁 가능한 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 SLU와 상태 추적을 함께 학습하는 것이 SLU 출력을 입력으로만 사용하는 것보다 강건성 면에서 향상되는가?
• RQ5 사전 학습된 단어 임베딩이 자원이 적거나 어휘가 개방된 환경에서 성능 향상에 기여하는가?

주요 결과

• 제안된 프레임워크는 DSTC2 벤치마크에서 경쟁적인 성능을 달성하였으며, 단일 모델을 사용해 테스트 세트에서 조인트 F1 스코어 80.5%를 기록했다.
• 앙상블은 모든 설정에서 성능 향상을 이끌었으며, 표준편차가 높은 실험에서 가장 큰 향상이 관찰되어 불확실성 하에서의 강건성을 보여주었다.
• Rastogi 등(2018)이 후보 집합 없이 발화에 대한 시퀀스 태깅을 사용한 것보다 시스템이 우수한 성능을 보였으며, 이는 구조화된 후보 학습의 이점임을 입증했다.
• SLU와 상태 추적을 함께 학습하는 것이 SLU 출력을 단독으로 사용하는 것보다 더 좋은 결과를 내었으며, 노이즈가 많은 SLU 예측에서 오류 복구가 가능하다는 것을 시사한다.
• 사전 학습된 단어 임베딩은 다양한 구성에서 일관된 성능 향상을 제공했으며, 특히 OOV 용어 처리에서 두드러진 효과를 보였다.
• 프레임워크는 확장 가능하고 유연하며, 재학습이나 아키텍처 변경 없이도 임의의 슬롯 값과 새로운 도메인을 지원할 수 있다.