[논문 리뷰] Efficient Exploration for Dialog Policy Learning with Deep BBQ Networks \& Replay Buffer Spiking.

Zachary C. Lipton, Jianfeng Gao외 4명|arXiv (Cornell University)|2016. 08. 17.

Topic Modeling참고 문헌 43인용 수 49

한 줄 요약

이 논문은 작업 지향 대화 시스템을 위한 딥 Q러닝에서 탐색 효율을 향상시키기 위해 두 가지 기법을 제안한다: 베이즈-바이-백프로프 신경망을 사용한 톰슨 샘플링과 성공적인 트리제토리로 리플레이 버퍼를 스파이크하는 것. 이러한 방법들은 표본 효율성을 크게 향상시키며, 표준 $\epsilon$-그리디 탐색이 실패하는 상황에서도 성공적인 학습을 가능하게 한다.

ABSTRACT

When rewards are sparse and action spaces large, Q-learning with $\epsilon$-greedy exploration can be inefficient. This poses problems for otherwise promising applications such as task-oriented dialogue systems, where the primary reward signal, indicating successful completion of a task, requires a complex sequence of appropriate actions. Under these circumstances, a randomly exploring agent might never stumble upon a successful outcome in reasonable time. We present two techniques that significantly improve the efficiency of exploration for deep Q-learning agents in dialogue systems. First, we introduce an exploration technique based on Thompson sampling, drawing Monte Carlo samples from a Bayes-by-backprop neural network, demonstrating marked improvement over common approaches such as $\epsilon$-greedy and Boltzmann exploration. Second, we show that spiking the replay buffer with experiences from a small number of successful episodes, as are easy to harvest for dialogue tasks, can make Q-learning feasible when it might otherwise fail.

연구 동기 및 목표

• 대화 정책 학습에서 희박한 보상과 큰 행동 공간으로 인해 랜덤 탐색이 성공적인 트리제토리 발견에 실패하는 문제를 해결하기 위해.
• 표준 탐색 전략을 더 정보 기반의 방법으로 대체하여 딥 Q러닝 에이전트의 표본 효율성을 향상시키기 위해.
• 베이지안 탐색을 통한 베이즈-바이-백프로프와 리플레이 버퍼 스파이킹이 대화 정책 학습에서 수렴 속도를 가속화할 수 있는지 조사하기 위해.
• 성공적인 에피소드에서 유도된 타겟드 경험 주입을 조합한 딥 Q러닝의 대화 시스템 적용 가능성 평가하기.

제안 방법

• 베이즈-바이-백프로프 신경망에서 유도된 몬테카를로 샘플에 대해 톰슨 샘플링을 사용하여 탐색을 이끌며, $\epsilon$-그리디나 볼츠만 탐색을 대체한다.
• 베이지안 신경망을 적용하여 Q값 예측의 불확실성을 추정함으로써, 높은 불확실성의 행동에 더 집중된 탐색을 가능하게 한다.
• 일반적으로 대화 시스템에서 수집하기 쉬운 소수의 성공적인 에피소드 트리제토리로 리플레이 버퍼를 스파이크한다.
• 딥 Q러닝과 리플레이 버퍼 스파이킹을 통합하여 학습 안정성과 수렴 속도를 향상시킨다.
• 베이지안 탐색과 경험 재생 향상 기법을 결합하여 희박한 보상 환경에서 더 효율적인 탐색 전략을 만든다.

실험 결과

연구 질문

• RQ1 베이즈-바이-백프로프 네트워크에 대한 톰슨 샘플링이 $\epsilon$-그리디 및 볼츠만 탐색에 비해 대화 정책 학습에서 탐색 효율을 향상시키는가?
• RQ2 리플레이 버퍼에 소수의 성공적인 트리제토리 트레이젝터리를 주입하는 것이 딥 Q러닝을 통한 대화 시스템 학습 성능에 뚜렷한 영향을 미치는가?
• RQ3 베이지안 탐색과 리플레이 버퍼 스파이킹의 조합이 희박한 보상과 큰 행동 공간을 가진 환경에서 딥 Q러닝의 적용 가능성을 높일 수 있는가?
• RQ4 제안된 방법은 표준 탐색 기반선 대비 표본 효율성과 수렴 속도에서 어떻게 비교되는가?

주요 결과

• 베이즈-바이-백프로프를 사용한 톰슨 샘플링은 표본 효율성과 수렴 속도 측면에서 $\epsilon$-그리디 및 볼츠만 탐색을 능가한다.
• 성공적인 트리제토리로 리플레이 버퍼를 스파이크하는 것은, 보상이 희박하여 기존에 실패할 가능성이 높은 환경에서도 딥 Q러닝의 성공을 가능하게 한다.
• 베이지안 탐색과 리플레이 버퍼 스파이킹의 조합은 작업 지향 대화 정책 학습에서 더 빠른 학습과 높은 성공률을 이끈다.
• 추가 보상 형식화나 환경 수정 없이도 학습 효율성에 상당한 향상을 이룬다.