[논문 리뷰] Model-based Bayesian Reinforcement Learning for Dialogue Management

Pierre Lison|arXiv (Cornell University)|2013. 04. 05.

Speech and dialogue systems참고 문헌 31인용 수 4

한 줄 요약

이 논문은 불확실성을 다루기 위해 전이 모델 파라미터에 대한 사후 분포를 유지하는 모델 기반 베이지안 강화 학습 접근법을 제안한다. 비구조적 다항분포 대신 확률적 규칙을 사용함으로써 인간-로봇 상호작용 시나리오에서 빠른 수렴과 더 나은 일반화를 달성한다. Wizard-of-Oz 데이터를 사용한 실험을 통해 이를 입증하였다.

ABSTRACT

Reinforcement learning methods are increasingly used to optimise dialogue policies from experience. Most current techniques are model-free: they directly estimate the utility of various actions, without explicit model of the interaction dynamics. In this paper, we investigate an alternative strategy grounded in model-based Bayesian reinforcement learning. Bayesian inference is used to maintain a posterior distribution over the model parameters, reflecting the model uncertainty. This parameter distribution is gradually refined as more data is collected and simultaneously used to plan the agent's actions. Within this learning framework, we carried out experiments with two alternative formalisations of the transition model, one encoded with standard multinomial distributions, and one structured with probabilistic rules. We demonstrate the potential of our approach with empirical results on a user simulator constructed from Wizard-of-Oz data in a human-robot interaction scenario. The results illustrate in particular the benefits of capturing prior domain knowledge with high-level rules.

연구 동기 및 목표

• 전이 동역학의 불확실성을 명시적으로 모델링하는 모델 기반 베이지안 강화 학습 프레임워크를 개발하는 것.
• 구조화된 확률적 규칙이 비구조적 다항분포보다 전이 모델 학습에서 우월한가를 조사하는 것.
• Wizard-of-Oz 데이터를 기반으로 훈련한 사용자 시뮬레이터를 사용하여 실제 인간-로봇 상호작용 시나리오에서 방법을 평가하는 것.
• 고수준 규칙을 통한 도메인 지식 통합이 학습 효율성과 성능을 향상시키는가를 보여주는 것.

제안 방법

• 이 접근법은 딜리클레 prior에서 시작하여 모델 파라미터에 대한 사후 분포를 유지하기 위해 베이지안 추론을 사용한다.
• 관측된 상태-행동-관측 삼중항을 기반으로 전이 모델을 점진적으로 갱신한다.
• 현재 믿음 상태와 모델 파라미터의 사후 분포를 기반으로 액션을 선택하기 위한 근사 온라인 계획 알고리즘을 사용한다.
• 두 가지 형식화 방식을 비교한다: 하나는 표준 다항분포를 사용하고, 다른 하나는 구조화된 확률적 규칙을 사용한다.
• 믿음 상태는 베이지안 네트워크로 표현되며, 관측 가능도를 사용하여 POMDP 믿음 갱신 식을 통해 갱신된다.
• 훈련 상호작용을 생성하고 성능을 평가하기 위해 Wizard-of-Oz 데이터를 기반으로 한 사용자 시뮬레이터를 사용한다.

실험 결과

연구 질문

• RQ1 제한된 상호작용 데이터로 대화 관리에서 모델 기반 베이지안 강화 학습이 전이 모델을 효과적으로 학습할 수 있는가?
• RQ2 구조화된 확률적 규칙을 사용할 경우 비구조적 다항분포보다 전이 역학 학습에서 수렴 속도가 더 빠른가?
• RQ3 모델 불확실성(파라미터에 대한 사후 분포로 표현됨)이 부분 관측 환경에서 탐색과 정책 학습을 어떻게 향상시키는가?
• RQ4 확률적 규칙에 코딩된 사전 도메인 지식이 학습 성능과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ5 이 방법은 사전 학습 모델이나 광범위한 시뮬레이션에 의존하지 않고도 높은 성능을 달성할 수 있으며, 실시간 온라인 학습이 가능한가?

주요 결과

• 확률적 규칙 모델은 다항분포 모델보다 최적의 딜리클레 파라미터에 훨씬 빨리 수렴하여 뛰어난 학습 효율성을 보였다.
• 확률적 규칙을 사용한 시스템은 다항분포 모델보다 에피소드당 평균 수익이 더 높게 기록되어 더 나은 정책 성능을 입증했다.
• 확률적 규칙 모델에서 추정된 사용자 액션 분포와 실제 분포 간의 K-L 발산이 더 빠르게 감소하여 더 높은 모델 정확도를 나타냈다.
• 모델 기반 접근법은 믿음 상태 추정과 액션 선택 향상으로 인해 기저의 상호작용 역학을 성공적으로 포착했다.
• 규칙 기반 파라미터의 빠른 수렴으로 인해 실시간 배포에 적용 가능한 잠재력을 보였으며, 라이브 상호작용으로부터의 온라인 학습 가능성이 확인되었다.