[논문 리뷰] Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic

Shixiang Gu, Timothy Lillicrap외 3명|arXiv (Cornell University)|2016. 11. 07.

Reinforcement Learning in Robotics참고 문헌 32인용 수 100

한 줄 요약

Q-Prop는 온-policy Monte Carlo 정책 기울기와 오프폴리시 비평가를 제어변수로 결합하여 연속 제어 작업에서 TRPO 및 DDPG에 비해 샘플 효율성과 안정성을 향상시킵니다.

ABSTRACT

Model-free deep reinforcement learning (RL) methods have been successful in a wide variety of simulated domains. However, a major obstacle facing deep RL in the real world is their high sample complexity. Batch policy gradient methods offer stable learning, but at the cost of high variance, which often requires large batches. TD-style methods, such as off-policy actor-critic and Q-learning, are more sample-efficient but biased, and often require costly hyperparameter sweeps to stabilize. In this work, we aim to develop methods that combine the stability of policy gradients with the efficiency of off-policy RL. We present Q-Prop, a policy gradient method that uses a Taylor expansion of the off-policy critic as a control variate. Q-Prop is both sample efficient and stable, and effectively combines the benefits of on-policy and off-policy methods. We analyze the connection between Q-Prop and existing model-free algorithms, and use control variate theory to derive two variants of Q-Prop with conservative and aggressive adaptation. We show that conservative Q-Prop provides substantial gains in sample efficiency over trust region policy optimization (TRPO) with generalized advantage estimation (GAE), and improves stability over deep deterministic policy gradient (DDPG), the state-of-the-art on-policy and off-policy methods, on OpenAI Gym's MuJoCo continuous control environments.

연구 동기 및 목표

• 심층 강화 학습에서 샘플 복잡도 감소와 안정성 향상 동기를 부여합니다.
• 편향을 도입하지 않고 오프폴리시 비평가를 활용하는 정책 기울기 방법을 개발합니다.
• 온-정책 Monte Carlo 그레이디언트를 오프-정책 비평가 업데이트와 연결하여 데이터 효율성을 향상합니다.

제안 방법

• 오프폴리시 비평가의 일차 테일러 전개를 제어변수로 사용한 정책 기울기 추정기로 Q-Prop를 도출합니다.
• Qw를 비평가로, μθ(st)를 기대 행동으로 삼아 비평가를 통한 해석 항과 잔차 Monte Carlo 항이 포함된 그래디언트를 형성합니다.
• 그레이디언트를 장점으로 표현하고 오프폴리시 데이터를 활용해 비평가를 학습시키는 동안 액터는 여전히 온-정책임을 보입니다.
• 적응형 제어변수 가중치 η(st)를 도입해 분산을 감소시키며, 완전 적응형, 보수적, 공격적 변형을 포함합니다.
• Q-Prop는 TRPO, GAE, DDPG, Retrace(λ)와 결합 가능하며 기존 정책 기울기 프레임워크 위에서 구현할 수 있음을 보여줍니다.

실험 결과

연구 질문

• RQ1 오프폴리시 비평가를 제어변수로 사용해 정책 기울기 추정의 분산을 편향 없이 줄일 수 있을까요?
• RQ2 Q-Prop는 TRPO-GAE와 DDPG에 비해 샘플 효율성과 안정성 측면에서 어떻게 작용합니까?
• RQ3 적응형 제어변수 가중치가 분산 및 학습 성능에 미치는 영향은 무엇입니까?
• RQ4 Q-Prop이 기존의 온-폴리시 및 오프-폴리시 강화학습 기술과 통합되어 실용적 성능을 개선할 수 있을까요?

주요 결과

도메인	임계값	MaxReturn(TR-c-Q-Prop)	Episodes(TR-c-Q-Prop)	MaxReturn(TRPO)	Episodes(TRPO)	MaxReturn(DDPG)	Episodes(DDPG)
Ant	3500	3534	4975	4239	13825	957	N/A
HalfCheetah	4700	4811	20785	4734	26370	7490	600
Hopper	2000	2957	5945	2486	5715	2604	965
Humanoid	2500	>3492	14750	918	>30000	552	N/A
Reacher	-7	-6.0	2060	-6.7	2840	-6.6	1800
Swimmer	90	103	2045	110	3025	150	500
Walker	3000	4030	3685	3567	18875	3626	2125

• Q-Prop는 연속 제어 작업에서 TRPO-GAE에 비해 샘플 효율성 면에서 상당한 이점을 제공합니다.
• 보수적 Q-Prop은 안정성을 향상시키며 여러 도메인에서 종종 TRPO 및 DDPG와 같은 다른 기준선보다 우수합니다.
• 적응형 Q-Prop 변형(완전 적응형, 보수적, 공격적)은 그래디언트 분산을 줄이고 학습 성능을 유지하거나 향상시킬 수 있습니다.
• Humanoid-v1과 같은 도전적 도메인에서 Q-Prop은 TRPO에 비해 샘플 효율성을 크게 개선하며, 때로 DDPG는 좋은 해를 찾지 못합니다.
• Q-Prop은 작은 배치 크기로도 효과적으로 학습할 수 있으며, 그 안정성은 실제 작업에 유리합니다.