[논문 리뷰] Continuous Deep Q-Learning with Model-based Acceleration

Shixiang Gu, Timothy Lillicrap외 2명|arXiv (Cornell University)|2016. 03. 02.

Reinforcement Learning in Robotics참고 문헌 39인용 수 336

한 줄 요약

요약: 이 논문은 Continuous Q-Learning with Normalized Advantage Functions (NAF)를 도입하여 연속 행동 공간에서 효율적인 오프 폴리시 학습을 가능하게 하고, 로컬로 적합된 선형 다이나믹스를 이용한 상상 롤아웃(imagination rollouts)을 통해 샘플 효율성을 높인다.

ABSTRACT

Model-free reinforcement learning has been successfully applied to a range of challenging problems, and has recently been extended to handle large neural network policies and value functions. However, the sample complexity of model-free algorithms, particularly when using high-dimensional function approximators, tends to limit their applicability to physical systems. In this paper, we explore algorithms and representations to reduce the sample complexity of deep reinforcement learning for continuous control tasks. We propose two complementary techniques for improving the efficiency of such algorithms. First, we derive a continuous variant of the Q-learning algorithm, which we call normalized adantage functions (NAF), as an alternative to the more commonly used policy gradient and actor-critic methods. NAF representation allows us to apply Q-learning with experience replay to continuous tasks, and substantially improves performance on a set of simulated robotic control tasks. To further improve the efficiency of our approach, we explore the use of learned models for accelerating model-free reinforcement learning. We show that iteratively refitted local linear models are especially effective for this, and demonstrate substantially faster learning on domains where such models are applicable.

연구 동기 및 목표

• 연속 제어 과제에서 딥 강화학습의 샘플 복잡도 감소를 목표로 한다.
• 쌍대 행-비평(dual actor-critic) 복잡성을 피하면서 연속 행동에 적합한 Q-러닝 변형을 개발한다.
• 모델 기반 가속 기술을 조사하되 모델-프리의 이점을 보존한다.
• 제안한 방법을 시뮬레이션 로봇 제어 벤치마크에서 평가한다.

제안 방법

• Q(x,u)를 V(x) + A(x,u)로 분해하고 A가 (u - mu(x))에 대해 이차식이 되도록 하는 연속 Q-러닝 변형(NAF)을 제안한다.
• 최적화 행동 mu(x)가 해석적으로 얻어지도록 Q-함수를 매개변수화한다.
• 심층 네트워크를 사용해 V, mu, 양의-definite 행렬 P(x)를 출력하게 하고 A(x,u) = -1/2 (u - mu(x))^T P(x) (u - mu(x))로 정의한다.
• 경험 재생, 타깃 네트워크, 벨만 백업 등 표준 딥 Q-러닝 도구로 학습한다.
• 상상 롤아웃을 도입한다: 학습된 국소 선형 다이나믹스 모델로부터의 합성 온폴리시 롤아웃으로 실제 경험을 보강하여 학습 속도를 높인다(Dyna류).
• 다이나믹스를 시간에 따라 변하는 선형 모델로 국소적으로 피팅하고 샘플링된 상태를 둘러싼 짧은 롤아웃을 사용해 추가 학습 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 정규화된 어드밴티지 기능(NAF)이 DDPG와 같은 액터-크리틱 방식에 비해 연속 행동 공간에서 샘플 효율적인 Q-러닝을 제공하는가?
• RQ2 국소적으로 피팅된 다이나믹스를 이용한 모델 기반 상상 롤아웃이 순수 모델-프리 Q-러닝의 최종 성능을 해치지 않으면서 의미 있게 가속화하는가?
• RQ3 상상 롤아웃의 이점에 대해 실제 다이나믹스와 학습된 다이나믹스의 차이는 어떤가?
• RQ4 오프-폴리시 플래닝 신호(iLQG 궤적 등)가 온폴리시 상상 롤아웃에 비해 학습 속도를 얼마나 개선하는가?
• RQ5 불완전한 다이나믹스 모델에 대한 상상 롤아웃 접근법의 한계와 민감도는 어떠한가?

주요 결과

도메인	DDPG 보상	DDPG 에피소드	NAF 보상	NAF 에피소드
Cartpole	-2.1	-0.601	420	-0.604	190
Reacher	-2.3	-0.509	1370	-0.331	1260
Peg	-11	-0.950	690	-0.438	130
Gripper	-29	1.03	2420	1.81	1920
GripperM	-90	-20.2	1350	-12.4	730
Canada2d	-12	-4.64	1040	-4.21	900
Cheetah	-0.3	8.23	1590	7.91	2390
Swimmer6	-325	-174	220	-172	190
Ant	-4.8	-2.54	2450	-2.58	1350
Walker2d	0.3	2.96	850	1.85	1530

• NAF는 많은 조작 작업에서 DDPG보다 일반적으로 우수한 성능을 보이며 수렴 속도와 목표 상태에서의 정밀도가 더 빠르다.
• 이동(로봇 주행) 과제에서 NAF와 DDPG의 성능 차이는 더 비슷하며 도메인에 따라 NAF가 다소 낫거나 못할 때가 있다.
• 상상 롤아웃은 점진적으로 피팅된 시간 가변 선형 다이나믹스를 이용해 조작 작업에서 데이터 효율성을 크게 개선한다(약 2–5배).
• 상상 롤아웃에 true 다이나믹스를 사용하는 경우 큰 이점을 얻지만, 학습된 신경망 다이나믹스는 이점을 상쇄할 수 있다; 국소적으로 피팅된 선형 모델이 선호된다.
• 오프-폴리시 iLQG 탐색은 상상 롤아웃만큼의 일관된 개선을 제공하지 못하는 경우가 많으며, 온폴리시 상상 롤아웃은 일관되게 이롭다.
• 상상 롤아웃은 학습 초기 단계에서 가장 큰 이점을 제공하며, Q-함수가 더 정확해지면 이점이 줄어들 수 있어 모델-프리 최종과의 하이브리드가 바람직하다.