[논문 리뷰] Sample-efficient Actor-Critic Reinforcement Learning with Supervised Data for Dialogue Management

Pei-Hao Su, Paweł Budzianowski외 3명|arXiv (Cornell University)|2017. 07. 01.

Speech and dialogue systems참고 문헌 47인용 수 13

한 줄 요약

이 논문은 대화 관리에서 초기 학습을 가속화하기 위해 감독된 시연 데이터 전학습과 함께 샘플 효율적인 액터-크리틱 강화학습 프레임워크인 TRACER 및 eNACER를 제안한다. 신뢰 영역과 자연 정책 기울기, 경험 재생, 그리고 비정책 시연 데이터를 융합함으로써, 특히 저자료, 온라인 사용자 상호작용 환경에서 표준 강화학습에 비해 더 빠른 수렴과 뛰어난 초반 성능을 달성한다.

ABSTRACT

Deep reinforcement learning (RL) methods have significant potential for dialogue policy optimisation. However, they suffer from a poor performance in the early stages of learning. This is especially problematic for on-line learning with real users. Two approaches are introduced to tackle this problem. Firstly, to speed up the learning process, two sample-efficient neural networks algorithms: trust region actor-critic with experience replay (TRACER) and episodic natural actor-critic with experience replay (eNACER) are presented. For TRACER, the trust region helps to control the learning step size and avoid catastrophic model changes. For eNACER, the natural gradient identifies the steepest ascent direction in policy space to speed up the convergence. Both models employ off-policy learning with experience replay to improve sample-efficiency. Secondly, to mitigate the cold start issue, a corpus of demonstration data is utilised to pre-train the models prior to on-line reinforcement learning. Combining these two approaches, we demonstrate a practical approach to learn deep RL-based dialogue policies and demonstrate their effectiveness in a task-oriented information seeking domain.

연구 동기 및 목표

• 온라인 대화 시스템에서 딥 강화학습의 느린 학습과 열악한 초반 성능 문제를 해결한다.
• 실제 사용자 환경에서 초기 정책이 열악한 사용자 경험을 유도하는 콜드 스타트 문제를 극복한다.
• 경험 재생과 함께 신뢰 영역 및 자연 기울기 최적화를 통해 액터-크리틱 강화학습의 샘플 효율성을 향상시킨다.
• 감독된 시연 데이터가 온라인 강화학습 미세조정 이전에 정책을 전학습하는 데 효과적으로 활용될 수 있음을 보여준다.
• 노이즈가 많은 사용자 입력 조건 하에서 제안된 방법의 강인성을 평가하고, 가우시안 프로세스 강화학습 기준선과 비교한다.

제안 방법

• 정책 업데이트를 제한하여 치명적인 변화를 방지하고 안정성을 향상시키는 신뢰 영역 기반 액터-크리틱 알고리즘인 TRACER를 제안한다.
• 정책 공간에서 자연 기울기 상승을 사용하는 에피소드 기반 자연 액터-크리틱 방법인 eNACER를 도입하여 수렴 속도를 가속화한다.
• TRACER와 eNACER에 모두 경험 재생을 통합하여 비정책 학습을 가능하게 하고 데이터 효율성을 향상시킨다.
• 온라인 강화학습 미세조정 이전에 워즈더 오브 오즈 코퍼스에서 확보한 감독된 시연 데이터를 사용해 정책 네트워크를 전학습시킨다.
• TRACER에서는 공동 학습 목표를 통해 감독 손실과 강화학습 목표를 융합하지만, 아키텍처적 차이로 인해 eNACER는 별도의 전학습을 수행한다.
• 감독 및 강화학습 경험 모두를 위한 재생 버퍼를 사용하며, 훈련 중에 동일한 배치 크기(각각 64개)로 샘플링한다.

실험 결과

연구 질문

• RQ1 신뢰 영역 및 자연 기울기 방법은 대화 정책 학습을 위한 딥 액터-크리틱 강화학습에서 샘플 효율성을 향상시키는가?
• RQ2 감독된 시연 데이터를 활용한 전학습이 온라인 대화 시스템에서 콜드 스타트 문제를 완화하는 데 얼마나 효과적인가?
• RQ3 감독 전학습과 비정책 강화학습을 융합하면, 초기 학습 단계에서의 수렴 속도와 성능이 완전히 새로 시작하는 것보다 빠른가?
• RQ4 노이즈가 많은 사용자 입력 조건에서 제안된 방법은 가우시안 프로세스 강화학습과 비교해 어떻게 성능을 내는가?
• RQ5 아키텍처 변경 없이도 감독 데이터와 강화학습을 통합할 수 있으며, 성능을 유지할 수 있는가?

주요 결과

• 감독 전학습을 통한 TRACER는 다른 방법들에 비해 가장 우수한 종합 성능을 보였으며, 더 빠른 학습과 뛰어난 초기 정책 품질을 확보했다.
• 감독 전학습과 강화학습 미세조정의 조합은 초기 단계 성능을 크게 향상시켰으며, 사용자 시뮬레이션에서 성공률이 무작위 정책 기준(15%)에서 70% 이상으로 상승했다.
• 감독 전학습을 통한 eNACER는 초반 성능이 향상되었지만, TRACER보다 학습 속도가 더 느렸다. 이는 감독 학습과 eNACER 목표 간의 파라미터 분포 불일치로 인한 것으로 보인다.
• 단지 시연 데이터로만 훈련된 TRACER 모델은 온라인 강화학습 없이도 성공률 70% 이상을 달성하여 감독 데이터로부터 강력한 일반화 능력을 보였다.
• 고도의 의미 오류 비율 조건에서 GPRL 대비 성능 저하가 더 빠르게 발생하여, 딥 네트워크가 GP 기반 모델보다 불확실성에 덜 강인할 수 있음을 시사했다.
• A2C에 감독 재생 버퍼를 적용한 A2C ER+SL_model+replay가 가장 우수한 성능을 보였으며, 감독 데이터와 강화학습을 통합한 훈련 프레임워크의 효과성을 확인했다.