[논문 리뷰] Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning

Shixiang Gu, Timothy Lillicrap외 4명|arXiv (Cornell University)|2017. 06. 01.

Reinforcement Learning in Robotics참고 문헌 29인용 수 9

한 줄 요약

이 논문은 제어 변수를 사용하여 온정책Likelihood Ratio 기울기와 오프정책 결정적 정책 기울기 사이를 보간하는 통합 프레임워크인 보간 정책 기울기(Interpolated Policy Gradient, IPG)를 소개한다. 학습 가능한 매개변수 ν를 통해 두 접근 방식 사이를 보간함으로써 IPG는 더 높은 샘플 효율성과 안정성을 달성하며, OpenAI Gym 벤치마크에서 이전 최고 성능 기법들을 능가한다.

ABSTRACT

Off-policy model-free deep reinforcement learning methods using previously collected data can improve sample efficiency over on-policy policy gradient techniques. On the other hand, on-policy algorithms are often more stable and easier to use. This paper examines, both theoretically and empirically, approaches to merging on- and off-policy updates for deep reinforcement learning. Theoretical results show that off-policy updates with a value function estimator can be interpolated with on-policy policy gradient updates whilst still satisfying performance bounds. Our analysis uses control variate methods to produce a family of policy gradient algorithms, with several recently proposed algorithms being special cases of this family. We then provide an empirical comparison of these techniques with the remaining algorithmic details fixed, and show how different mixing of off-policy gradient estimates with on-policy samples contribute to improvements in empirical performance. The final algorithm provides a generalization and unification of existing deep policy gradient techniques, has theoretical guarantees on the bias introduced by off-policy updates, and improves on the state-of-the-art model-free deep RL methods on a number of OpenAI Gym continuous control benchmarks.

연구 동기 및 목표

• 온정책 및 오프정책 딥 강화학습 방법을 하나의 안정적인 프레임워크로 통합하는 것.
• Likelihood Ratio 기울기와 결정적 기울기 방법을 조합하여 정책 기울기 추정의 분산과 편향을 줄이는 것.
• 통합 알고리즘 가족 내에서 오프정책 업데이트에 의해 유도되는 편향에 대한 이론적 경계를 제공하는 것.
• 다양한 연속 제어 환경에서 온정책 안정성과 오프정책 샘플 효율성 간의 상호 교환 관계를 경험적으로 평가하는 것.
• 혼합 방법에서 중간 보간(ν ≈ 0.2)이 순수 온정책 또는 오프정책 방법보다 우수한 성능을 내는 것을 보여주는 것.

제안 방법

• 제어 변수 방법을 사용하여 온정책과 오프정책 업데이트 사이를 보간하는 매개변수화된 정책 기울기 알고리즘 가족을 제안한다.
• 온정책 Likelihood Ratio 기울기와 오프정책 결정적 정책 기울기의 기여도를 혼합 매개변수 ν로 조절한다.
• 기울기 분산을 줄이기 위해 비용 네트워크를 사용하여 Q-값 함수를 추정하며, 이를 제어 변수로 활용한다.
• ν = 1일 때 정책 업데이트에 신뢰 영역 제약을 적용하여 TRPO나 Q-Prop와 유사한 안정성을 확보한다.
• 보간된 기울기 추정기의 편향에 대한 이론적 경계를 유도하여, 이 편향이 수용 가능한 수준을 유지함을 보여준다.
• 리play 버퍼를 사용하여 오프정책 전이를 저장하고 재사용함으로써 데이터 효율성을 확보하며, 제어된 보간을 통해 안정성을 유지한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 딥 강화학습에서 온정책 학습의 안정성과 오프정책 학습의 데이터 효율성을 효과적으로 융합할 수 있는가?
• RQ2 보간을 통한 오프정책 업데이트 도입의 이론적 영향은 무엇이며, 편향은 경계를 초과하지 않는가?
• RQ3 보간 매개변수 ν의 선택은 다양한 환경에서 학습 안정성과 샘플 효율성에 어떤 영향을 미치는가?
• RQ4 온정책 탐색과 오프정책 학습을 조합하면 도전적인 연속 제어 작업에서 성능 향상이 이루어지는가?
• RQ5 기존의 Q-Prop, ACER, PGQ 등의 방법들은 더 일반적인 보간 프레임워크의 특수한 경우로 이해될 수 있는가?

주요 결과

• IPG-ν=0.2는 OpenAI Gym의 연속 제어 벤치마크에서 Q-Prop, TRPO 및 이전 액터-크리틱 방법들을 일관되게 능가했다.
• Ant-v1 환경에서 IPG-ν=1은 표준 DDPG가 최적 정책에 갇혀 있던 것과는 달리 유의미하게 높은 평균 수익을 달성했다.
• 브라운 운동 노이즈를 탐색에 사용했을 때 IPG-ν=1의 성능이 급격히 떨어졌으며, 이는 매우 다를 정책에서 유도된 오프정책 샘플이 과도한 편향을 유발한다는 이론적 주장에 대한 지지를 받는다.
• IPG-ν=1에서 신뢰 영역을 적용함으로써 동일한 탐색 노이즈를 사용한 DDPG보다 안정성과 성능이 향상되었으며, 이는 제약된 정책 업데이트 덕분이었다.
• 경험적 결과에 따르면 중간 값의 ν(예: ν = 0.2–0.4)에서 성능이 가장 우수하여, 편향 감소와 데이터 효율성 간의 상충 관계가 있음을 시사한다.
• PGQ, ACER, Q-Prop와 같은 여러 기존 방법들이 제안된 IPG 프레임워크의 특수한 경우로 나타나, 이 프레임워크의 통합적 능력을 입증한다.