[논문 리뷰] Planning and Acting under Uncertainty: A New Model for Spoken Dialogue Systems

Bo Zhang, Cai Qing-sheng외 2명|arXiv (Cornell University)|2013. 01. 10.

Speech and dialogue systems참고 문헌 6인용 수 6

한 줄 요약

이 논문은 음성 대화 시스템에서 사용자 의도와 시스템 상태의 불확실성을 은닉 상태와 다중 입력 모odal리티의 관측치를 통해 명시적으로 표현하는 새로운 POMDP 기반 대화 관리 모델을 제안한다. 저수준의 인식을 위한 베이지안 네트워크와 정책 학습을 위한 히우리스틱 격자 기반 근사법을 통합함으로써, 전통적인 MDP 접근 방식에 비해 불확실성 하에서의 강건성을 향상시킨다. 특히 사용자 의도가 모호할 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Uncertainty plays a central role in spoken dialogue systems. Some stochastic models like Markov decision process (MDP) are used to model the dialogue manager. But the partially observable system state and user intention hinder the natural representation of the dialogue state. MDP-based system degrades fast when uncertainty about a user's intention increases. We propose a novel dialogue model based on the partially observable Markov decision process (POMDP). We use hidden system states and user intentions as the state set, parser results and low-level information as the observation set, domain actions and dialogue repair actions as the action set. Here the low-level information is extracted from different input modals, including speech, keyboard, mouse, etc., using Bayesian networks. Because of the limitation of the exact algorithms, we focus on heuristic approximation algorithms and their applicability in POMDP for dialogue management. We also propose two methods for grid point selection in grid-based approximation algorithms.

연구 동기 및 목표

• 사용자 의도에 대한 불확실성을 다루는 데에 한계가 있는 MDP 기반 대화 시스템의 문제점을 해결하기 위해.
• 부분 관측 가능한 대화 상태와 의도를 POMDP 프레임워크를 통해 명시적으로 모델링하기 위해.
• 은닉 시스템 상태와 다중 모달 관측치를 통해 불확실성 하에서의 대화 관리 강건성을 향상시키기 위해.
• 실시간 대화 시스템에서 POMDP 정책 학습을 위한 효율적인 근사 기법을 개발하기 위해.
• 응용 분야에 특화된 관측치 및 행동 집합을 갖춘 POMDP에 대한 격자 기반 근사 방법을 평가하기 위해.

제안 방법

• 부분 관측 가능성과 관련된 은닉 시스템 상태와 사용자 의도를 사용해 대화 상태를 모델링한다.
• 해석기 출력값과 저수준의 인지 입력(음성, 키보드, 마우스)을 베이지안 네트워크를 통해 관측치로 활용한다.
• 도메인 행동과 대화 복구 행동을 정책 최적화를 위한 행동 집합으로 정의한다.
• 정확한 POMDP 해법의 계산 불가능성을 극복하기 위해 히우리스틱 격자 기반 근사 알고리즘을 적용한다.
• 근사 정확도를 향상시키기 위해 민감도 기반으로 belief 공간 내 격점 선택을 위한 두 가지 새로운 방법을 제안한다.
• 다중 모달 입력 신호를 확률적 관측치로 융합하여 상태 추정을 위한 베이지안 네트워크를 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 음성 대화 시스템에서 사용자 의도의 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 은닉 상태와 의도를 사용할 경우, 불확실성 하에서 대화 정책 성능에 어떤 영향을 미치는가?
• RQ3 다중 모달 입력(음성, 키보드, 마우스)은 POMDP 기반 대화 시스템에서 상태 추정에 어떻게 기여하는가?
• RQ4 실시간 대화 응용 프로그램에서 POMDP 정책 학습을 위한 효과적인 근사 전략은 무엇인가?
• RQ5 다양한 격점 선택 방법은 대화 시스템에서 POMDP 근사의 정확도와 효율성에 어떤 영향을 미치는가?

주요 결과

• 은닉 상태와 의도를 포함한 제안된 POMDP 모델은 사용자 의도의 불확실성이 높을 경우 MDP 기반 시스템에 비해 유의미하게 뛰어난 성능을 보였다.
• 다중 모달 인식을 위한 베이지안 네트워크 통합은 관측치 품질 향상과 상태 추정 정확도 향상에 기여했다.
• 히우리스틱 격자 기반 근사법은 계산 제약 조건이 있는 복잡한 대화 도메인에서도 실현 가능한 정책 학습을 가능하게 했다.
• 제안된 두 가지 격점 선택 방법은 근사 정확도 향상에 기여했으며, 한 방법은 belief 공간에서 더 우수한 수렴 성능를 보였다.
• 사용자 의도가 모호하거나 노이즈가 있을 경우에도 모델은 대화 관리의 강건성을 향상시켰다.
• UAI 2001 회의록의 실증 결과는 제안된 모델이 기준 MDP 접근 방식에 비해 불확실성 처리 능력에서 뛰어난 효과를 보임을 확인했다.