[논문 리뷰] Supervised Policy Update for Deep Reinforcement Learning

Quan Vuong, Yiming Zhang외 1명|arXiv (Cornell University)|2018. 05. 29.

Reinforcement Learning in Robotics인용 수 3

한 줄 요약

이 논문은 표본 효율적인 딥 강화 학습 방법인 감독형 정책 업데이트(SPU)를 소개한다. SPU는 제약 최적화를 통해 비매개변수형 근접 정책를 먼저 최적화한 후, 이를 감독 회귀를 통해 매개변수형 정책으로 정밀화한다. SPU는 Mujoco 작업에서 TRPO를, 아타리 게임에서 PPO를 능가하며, 더 단순한 구현으로도 다양한 환경에서 뛰어난 표본 효율성과 강건성을 보여준다.

ABSTRACT

We propose a new sample-efficient methodology, called Supervised Policy Update (SPU), for deep reinforcement learning. Starting with data generated by the current policy, SPU formulates and solves a constrained optimization problem in the non-parameterized proximal policy space. Using supervised regression, it then converts the optimal non-parameterized policy to a parameterized policy, from which it draws new samples. The methodology is general in that it applies to both discrete and continuous action spaces, and can handle a wide variety of proximity constraints for the non-parameterized optimization problem. We show how the Natural Policy Gradient and Trust Region Policy Optimization (NPG/TRPO) problems, and the Proximal Policy Optimization (PPO) problem can be addressed by this methodology. The SPU implementation is much simpler than TRPO. In terms of sample efficiency, our extensive experiments show SPU outperforms TRPO in Mujoco simulated robotic tasks and outperforms PPO in Atari video game tasks.

연구 동기 및 목표

• 환경 상호작용이 비용이 많이 드는 온정책 딥 강화 학습에서 표본 효율성의 핵심 과제를 해결한다.
• 이산 및 연속적 행동 공간에 모두 적용 가능한 일반적인 프레임워크를 개발하여, 근접성 제약 조건을 통해 정책 안정성을 유지한다.
• TRPO와 같은 트러스트 영역 방법의 구현을 단순화하면서 성능을 향상시키며, 복잡한 이차 최적화를 피한다.
• 최소한의 하이퍼파rameter 민감도를 갖춘 높은 성능을 제공함으로써 실생활 RL 응용 분야에서의 실용성을 향상시킨다.
• 정책 최적화를 비매개변수형 최적 정책 탐색과 이후 감독 학습을 통한 매개변수화로 두 단계로 분리함으로써, 정책 업데이트 설계의 새로운 패러다임을 제시한다.

제안 방법

• KL 발산과 같은 거리 척도를 사용하여 비매개변수형 근접 정책 공간에서 제약 최적화 문제를 수립함으로써, 정책 업데이트가 현재 정책에 가까이 유지되도록 보장한다.
• 제약 최적화 문제를 해결하여 새로 수집된 데이터 기반으로 기대 수익을 최대화하는 최적의 비매개변수형 정책를 찾는다.
• 감독 회귀를 사용하여 최적의 비매개변수형 정책을 매개변수형 정책로 매핑함으로써, 효율적인 샘플링과 훈련을 가능하게 한다.
• 상태별 수용 및 동적 정지 메커니즘을 도입하여 훈련 안정성과 수렴성을 향상시킨다. 이는 상태별 KL 발산과 기울기 노름에 기반한다.
• NPG/TRPO 및 PPO에서 사용하는 제약 조건을 일반화한 최적화 프레임워크를 통해 다중 근접성 제약 조건을 지원한다.
• 기울기 크기와 KL 발산에 기반한 적응형 학습률과 조기 정지 전략을 사용하여, 정밀화된 정책를 타겟으로 하여 매개변수형 정책를 재학습시킨다.

실험 결과

연구 질문

• RQ1 비매개변수형 정책 최적화 후 감독 학습을 통한 매개변수화를 거치는 이중 단계 정책 업데이트 프레임워크가 기존 온정책 방법보다 더 뛰어난 표본 효율성을 달성할 수 있는가?
• RQ2 SPU의 성능은 Mujoco와 아타리와 같은 다양한 환경에서 TRPO 및 PPO와 비교해 어떻게 되는가? 특히 표본 효율성과 최종 성능 측면에서 어떻게 되는가?
• RQ3 SPU의 성능는 고차원적이고 다양한 RL 환경에서 하이퍼파rameter 선택에 얼마나 강건한가?
• RQ4 SPU 알고리즘의 어떤 구성 요소(예: 기울기 기반 KL 정규화, 상태별 수용)가 높은 성능를 달성하는 데 가장 중요한가?
• RQ5 TRPO보다 더 단순한 구현으로도, 최적 정책 탐색과 매개변수화를 분리함으로써 초월적인 성능를 달성할 수 있는가?

주요 결과

• 10개의 Mujoco 환경에서 300만 번째 타임스텝 이후 SPU는 TRPO보다 최종 성능에서 28% 향상되어 뛰어난 표본 효율성을 입증했다.
• 60개의 아타리 게임 평균 최종 성능에서 SPU는 PPO보다 55% 향상되었으며, 15개 환경에서의 성능 향상은 PPO의 9개 환경을 초월했다.
• KL 발산의 기울기($\nabla_{\theta}D_{\text{KL}}$) 성분이 성능 향상에 가장 기여하였으며, 이 성분을 제거하면 SPU의 성능 향상률이 85% 감소했다.
• 상태별 수용과 동적 정지는 모두 필수적이며, 특히 상태별 수용이 가장 큰 영향을 미쳤다. 이 성분을 제거하면 성능가 67% 감소했다.
• SPU의 성능는 매우 강건하였다. 100번의 랜덤 하이퍼파rameter 시험에서 모든 SPU 변종이 TRPO를 능가했으며, 75%는 최소 18% 이상의 성능 향상을 달성했다.
• SPU는 TRPO보다 더 단순한 구현에도 불구하고, Mujoco와 아타리에서 표본 효율성 측면에서 최고 수준의 성능를 달성했으며, 아타리 영역에선 PPO를 능가했다.