[논문 리뷰] Generalized Off-Policy Actor-Critic

Shangtong Zhang, Wendelin Boehmer외 1명|arXiv (Cornell University)|2019. 03. 27.

Reinforcement Learning in Robotics참고 문헌 49인용 수 7

한 줄 요약

이 논문은 오프-폴리시 정책 그래디언트 강화학습을 위한 통합 프레임워크인 반사적 목적함수를 도입하며, 기존 방법보다 목표 폴리시 성능 예측이 더 우수하다. 일반화된 오프-폴리시 정책 그래디언트 정리와 편향 없는 그래디언트 추정을 위한 강조 방법을 통해 저자들은 딥 강화학습 벤치마크에서 강조 알고리즘의 첫 번째 실증적 성공인 Geoff-PAC을 개발하였으며, Mujoco 로봇 작업에서 기존 오프-폴리시 액터-크리틱 방법들을 능가한다.

ABSTRACT

We propose a new objective, the counterfactual objective, unifying existing objectives for off-policy policy gradient algorithms in the continuing reinforcement learning (RL) setting. Compared to the commonly used excursion objective, which can be misleading about the performance of the target policy when deployed, our new objective better predicts such performance. We prove the Generalized Off-Policy Policy Gradient Theorem to compute the policy gradient of the counterfactual objective and use an emphatic approach to get an unbiased sample from this policy gradient, yielding the Generalized Off-Policy Actor-Critic (Geoff-PAC) algorithm. We demonstrate the merits of Geoff-PAC over existing algorithms in Mujoco robot simulation tasks, the first empirical success of emphatic algorithms in prevailing deep RL benchmarks.

연구 동기 및 목표

• 오프-폴리시 강화학습에서 목표 폴리시 성능을 측정하는 데 있어 흐름 목적함수의 오해를 바로잡기 위해, 목표 폴리시의 고정 분포가 아니라 행동 폴리시의 정적 분포 하에서 목표 폴리시 성능을 측정하는 데에 초점을 맞춘다.
• 제어 가능한 파라미터 γ̂를 통해 흐름 목적함수와 대체 삶 목적함수(실제 배포 성능)를 연속적으로 통합하는 새로운 목적함수인 반사적 목적함수를 제안한다.
• 일반화된 오프-폴리시 정책 그래디언트 정리(GOPPG 정리)를 증명하여, 반사적 목적함수의 편향 없는 정책 그래디언트 추정을 가능하게 한다.
• 반사적 목적함수를 위한 편향 없는 샘플 정책 그래디언트를 제공하는 강조 방법 기반의 액터-크리틱 알고리즘인 Geoff-PAC을 개발한다.
• 어려운 딥 강화학습 환경에서 Geoff-PAC을 실증적으로 검증하여, 기존 오프-폴리시 알고리즘보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 흐름 목적함수(γ̂ = 0)와 대체 삶 목적함수(γ̂ = 1) 사이의 연속적 보간으로 반사적 목적함수를 제안하며, 행동 폴리시의 정적 분포를 사용해 목표 폴리시 하의 가상의 이격 상황을 평가한다.
• 반사적 목적함수의 정책 그래디언트를 계산하기 위해 목표 폴리시와 행동 폴리시 간의 밀도 비율을 미분하는 일반화된 오프-폴리시 정책 그래디언트 정리(GOPPG 정리)를 유도한다.
• Sutton 등(2016)의 강조 방법을 사용해 편향 없는 정책 그래디언트 샘플을 계산하며, 약한 가정 하에 수렴성을 보장한다.
• 함수 근사와 오프-폴리시 시간 차분 학습을 결합한 딥 강화학습 알고리즘으로서 Geoff-PAC을 구현한다.
• 밀도 비율을 사용해 전이를 재가중하여 그래디언트 추정치를 반사적 목적함수와 일치시키며, 이전 방법에서 관찰된 편향된 '정책 반경사' 업데이트를 피한다.
• 파라미터화된 γ̂를 사용해 목적함수의 편향-분산 트레이드오프를 가능하게 하여, 민감하고 유연한 정책 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 흐름 목적함수보다 목표 폴리시를 실제 배포할 때의 진짜 성능을 더 잘 예측할 수 있는 통합 목적함수를 정의할 수 있는가?
• RQ2 이 새로운 목적함수의 정책 그래디언트를 오프-폴리시 학습과 함수 근사와 일관되게 계산할 수 있는가?
• RQ3 강조 방법이 딥 오프-폴리시 액터-크리틱 알고리즘에 성공적으로 적용되어 현대 벤치마크에서 실증적 성공을 이룰 수 있는가?
• RQ4 조정 가능한 γ̂ 파라미터를 가진 제안된 반사적 목적함수는 연속 제어 작업에서 샘플 효율성과 최종 성능을 향상시키는가?
• RQ5 Geoff-PAC은 딥 강화학습 벤치마크에서 강조 방법의 첫 번째 성공적 적용이며, 기존 오프-폴리시 액터-크리틱 알고리즘을 능가하는가?

주요 결과

• 반사적 목적함수는 흐름 목적함수와 대체 삶 목적함수를 성공적으로 통합하며, γ̂ = 1일 때 진짜 배포 성능 목적함수를 복원한다.
• 일반화된 오프-폴리시 정책 그래디언트 정리는, 온-폴리시 데이터가 없더라도 반사적 목적함수의 정책 그래디언트를 이론적으로 타당하게 계산할 수 있도록 한다.
• Geoff-PAC는 딥 강화학습 벤치마크에서 강조 알고리즘의 첫 번째 실증적 성공을 이룩하였으며, Mujoco 로봇 시뮬레이션 작업에서 기존 오프-폴리시 액터-크리틱 방법들을 능가한다.
• 기존 흐름 목적함수 기반 방법(예: Degris 등, 2012; Imani 등, 2018)에 비해 샘플 효율성과 최종 성능이 향상됨을 보였다.
• γ̂의 사용은 민감한 편향-분산 트레이드오프를 가능하게 하며, 보상 형상화나 가치 함수 재가중이 필요 없이 정책 그래디언트 프레임워크 내에서 유지된다.
• 실증 결과는 Geoff-PAC이 여러 Mujoco 환경에서 잘 일반화됨을 보여주며, 복잡한 제어 설정에서의 강건성과 확장성을 입증한다.