[논문 리뷰] Integrating planning for task-completion dialogue policy learning.

Baolin Peng, Xiujun Li외 3명|arXiv (Cornell University)|2018. 01. 18.

Speech and dialogue systems참고 문헌 43인용 수 33

한 줄 요약

이 논문은 샘플 효율성을 향상시키기 위해 다이나-큐 아키텍처를 사용하여 계획 증강 대화 정책 학습 프레임워크를 제안한다. 실시간 계획 기반 시뮬레이터를 통해 합성 사용자 경험을 생성함으로써, 제한된 실제 사용자 상호작용과 고품질의 시뮬레이션 경험을 결합하여, 비용이 많이 드는 실제 사용자 시험의 필요성을 크게 줄이고, 시뮬레이션 및 인간-대화형 평가 모두에서 뛰어난 성능을 유지한다.

ABSTRACT

Training a task-completion dialogue agent with real users via reinforcement learning (RL) could be prohibitively expensive, because it requires many interactions with users. One alternative is to resort to a user simulator, while the discrepancy of between simulated and real users makes the learned policy unreliable in practice. This paper addresses these challenges by integrating planning into the dialogue policy learning based on Dyna-Q framework, and provides a more sample-efficient approach to learn the dialogue polices. The proposed agent consists of a planner trained on-line with limited real user experience that can generate large amounts of simulated experience to supplement with limited real user experience, and a policy model trained on these hybrid experiences. The effectiveness of our approach is validated on a movie-booking task in both a simulation setting and a human-in-the-loop setting.

연구 동기 및 목표

• 강화학습을 통한 작업 완료 대화 에이전트 학습에서 실사용자 상호작용의 높은 비용을 해결하기 위해.
• 실사용자와 기존 사용자 시뮬레이터 간의 격차로 인한 신뢰성 격차를 줄이기 위해.
• 실시간 계획을 통한 합성 사용자 경험 생성을 통해 대화 정책 학습의 샘플 효율성을 향상시키기 위해.
• 제한된 실사용자 데이터와 계획기 생성 시뮬레이션 경험의 하이브리드 데이터셋을 활용하여 효과적인 정책 학습을 가능하게 하기 위해.

제안 방법

• 프레임워크는 제한된 실사용자 상호작용에서 학습하는 계획기와 실시간으로 합성 대화 경험을 생성하는 방식을 통합한다.
• 계획기는 다이나-큐 알고리즘을 사용하여 사용자 행동을 시뮬레이션하고, 사전 정의된 사용자 모델이 필요 없이 훈련 경험을 확장한다.
• 대화 정책은 실사용자 상호작용과 계획기 시뮬레이션 경험을 조합한 하이브리드 데이터셋으로 훈련되어 일반화 능력이 향상된다.
• 실사용자 피드백을 이용해 계획기를 점진적으로 업데이트함으로써, 시뮬레이션 경험의 품질을 지속적으로 향상시킨다.
• 계획이 다양한 실제적인 대화 트랙을 제공함으로써 정책 학습을 향상시키는 계층적 학습 메커니즘을 채택한다.
• 시뮬레이션 경험을 활용하여 드문 또는 복잡한 사용자 행동을 탐색함으로써 탐색과 이용의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 대화 정책 학습에 계획을 통합하면 실사용자 상호작용에 대한 의존도를 줄일 수 있는가?
• RQ2 정책 학습에서 계획기 생성 시뮬레이션 경험의 품질이 기존 사용자 시뮬레이터보다 어떻게 다른가?
• RQ3 실제 환경 구현에서 하이브리드 훈련 방식(실제 + 시뮬레이션 데이터)이 정책 성능에 얼마나 기여하는가?
• RQ4 실시간 계획이 정책 학습의 샘플 효율성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 인간-대화형 환경에서 평가되었을 때도 강건성을 유지하는가?

주요 결과

• 제안된 방법은 정책 성능을 유지하거나 향상시키면서도 실사용자 상호작용의 수를 크게 줄였다.
• 계획기 생성 시뮬레이션 경험은 기존 사용자 시뮬레이터보다 더 효과적이며, 실사용자 평가에서 더 나은 일반화 성능을 보였다.
• 하이브리드 훈련 방식은 시뮬레이션 및 인간-대화형 환경 모두에서 뛰어난 성능을 달성하여 강건성을 입증했다.
• 기본 강화학습 방법보다 계획이 없는 경우에 비해 수렴 속도가 빠르고 샘플 효율성이 높았다.
• 실시간 계획 통합으로 인해 시뮬레이션 경험의 다양성과 현실감이 향상되어 정책 일반화 능력이 향상되었다.
• 최소한의 실사용자 데이터로도 영화 예약 작업에서 경쟁적인 성능을 달성하여 샘플 효율성의 타당성을 입증했다.