[논문 리뷰] Composite Task-Completion Dialogue Policy Learning via Hierarchical Deep Reinforcement Learning

Baolin Peng, Xiujun Li외 5명|arXiv (Cornell University)|2017. 04. 10.

Speech and dialogue systems참고 문헌 34인용 수 36

한 줄 요약

이 논문은 복합 작업 완료 대화 시스템을 위한 계층적 딥 강화학습(HRL) 프레임워크를 제안한다. 마르코프 결정 과정(MDP)의 옵션 기반 구조를 사용하여 항공권 및 호텔 예약과 같은 상호의존적인 다수의 하위작업을 관리한다. 고수준의 작업 선택과 저수준의 행동 실행을 분리하고 내부 평가자(internal critic)를 통한 내재 보상(intrinsic reward)을 통합함으로써, 특히 희박한 보상과 복잡한 제약 조건 하에서 평탄한 강화학습(flat RL) 또는 규칙 기반 기준선보다 훨씬 높은 성공률과 더 나은 사용자 경험을 달성한다.

ABSTRACT

Building a dialogue agent to fulfill complex tasks, such as travel planning, is challenging because the agent has to learn to collectively complete multiple subtasks. For example, the agent needs to reserve a hotel and book a flight so that there leaves enough time for commute between arrival and hotel check-in. This paper addresses this challenge by formulating the task in the mathematical framework of options over Markov Decision Processes (MDPs), and proposing a hierarchical deep reinforcement learning approach to learning a dialogue manager that operates at different temporal scales. The dialogue manager consists of: (1) a top-level dialogue policy that selects among subtasks or options, (2) a low-level dialogue policy that selects primitive actions to complete the subtask given by the top-level policy, and (3) a global state tracker that helps ensure all cross-subtask constraints be satisfied. Experiments on a travel planning task with simulated and real users show that our approach leads to significant improvements over three baselines, two based on handcrafted rules and the other based on flat deep reinforcement learning.

연구 동기 및 목표

• 다양한 상호의존적인 하위작업과 상호 제약 조건을 수반하는 복잡한 복합 작업을 위한 대화 에이전트 훈련 과제를 해결하기 위해.
• 평탄한 강화학습에서의 보상 희박성과 장수명 문제를 계층적 구조와 내재 보상 신호를 도입하여 극복하기 위해.
• 대화 일관성 향상과 하위작업 전환 감소를 통해 작업 완료 대화에서 사용자 경험을 향상시키기 위해.
• 모의 사용자와 실제 사용자 모두에서 평탄한 RL 및 규칙 기반 기준선을 능가하는 확장 가능하고 샘플 효율적인 대화 정책 학습 방법을 개발하기 위해.
• 다양한 사용자 행동 패턴을 가진 실제 세계의 여행 계획 시나리오에서 계층적 딥 강화학습의 효과성을 검증하기 위해.

제안 방법

• 마르코프 결정 과정(MDP) 기반의 옵션 프레임워크를 사용하여 시간 척도에 걸쳐 계층적 의사결정을 가능하게 하는 복합 작업 완료 문제의 수식화.
• 이중 수준의 대화 관리자 설계: 상위 수준 정책은 하위작업(옵션)을 선택하고, 하위 수준 정책은 각 하위작업을 완료하기 위한 기본 행동을 실행한다.
• 전역 상태 트래커 출력 기반으로 하위작업 진행 상황을 평가하는 내부 평가자(intrinsic reward module) 도입으로 조기에 밀도 높은 피드백을 제공함으로써 희박한 보상을 완화한다.
• 전역 상태 트래커를 사용하여 하위작업 간 슬롯 제약 조건(예: 도착 시간이 체크인 이전이어야 함)을 유지하고 강제함으로써 하위작업 간 일관성을 확보한다.
• 딥 강화학습을 사용하여 계층적 정책을 훈련하며, 상위 수준 정책은 하위작업 순서 탐색을, 하위 수준 정책은 행동 순서 최적화를 수행한다.
• 모든 정책 수준의 DQN 기반 훈련에서 경험 재생과 타겟 네트워크를 사용하여 훈련 안정성과 샘플 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 평탄한 RL에 비해 계층적 딥 강화학습 접근법이 복합 작업 완료 대화에서 샘플 효율성과 성공률을 향상시키는가?
• RQ2 내부 평가자로부터 유도된 내재 보상의 포함 여부가 희박한 보상 환경에서의 탐색과 수렴에 어떤 영향을 미치는가?
• RQ3 계층적 정책 학습이 평탄한 RL 에이전트에 비해 하위작업 전환 빈도를 얼마나 줄이고 대화 일관성을 얼마나 향상시키는가?
• RQ4 다양한 선호도를 가진 사용자 유형 간 하위작업 순서에 대해 제안된 방법이 얼마나 일반화되는가?
• RQ5 실제 인간 사용자에 대해 계층적 에이전트가 모의 벤치마크와 규칙 기반 기준선에 비해 뛰어난 성능을 발휘할 수 있는가?

주요 결과

• 복합적인 사용자 유형(B 및 C)은 하위작업 수정이 필요하여 더 높은 복잡도를 보였지만, HRL 에이전트는 시뮬레이션 사용자에 대해 평탄한 RL 에이전트와 규칙 기반 기준선보다 유의미하게 높은 성공률을 달성했다.
• 모든 사용자 유형에서 HRL 에이전트는 평탄한 RL 에이전트를 초월한 성공률을 보였으며, 특히 더 많은 대화 라운드와 높은 작업 복잡도를 요구하는 C형 사용자에서 20% 향상된 성과를 기록했다.
• HRL 에이전트는 더 빠른 수렴을 보였으며, 평탄한 RL 에이전트보다 더 적은 시뮬레이션 예제로 유사한 성능 수준에 도달했다. 이는 샘플 효율성이 뛰어나다는 것을 시사한다.
• 실제 사용자 대상 인간 평가에서 HRL 에이전트는 평균 4.3점(평탄한 RL 에이전트 3.1점)의 높은 사용자 평가와 82%의 성공률(평탄한 RL 에이전트 58%)을 기록하여 유의미하게 높은 평가를 받았다.
• HRL 에이전트는 평탄한 RL 에이전트보다 하위작업 간 전환 빈도가 낮아 더 일관성 있는 대화를 생성했으며, 이는 사용자 경험 향상과 작업 실패 감소로 이어졌다.
• 내재 보상 모듈은 탐색을 효과적으로 이끌었으며, 실패한 트랙토리 수를 줄이고 복잡한 제약 조건 충족 정책을 더 효율적으로 학습할 수 있도록 했다.