[논문 리뷰] Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies

David Balduzzi, Muhammad Ghifary|arXiv (Cornell University)|2015. 09. 10.

Reinforcement Learning in Robotics참고 문헌 21인용 수 23

한 줄 요약

이 논문은 연속 정책를 위한 딥 강화 학습 알고리즘인 GProp를 소개한다. GProp는 시간차분 방법과 기울기 편향 기법을 사용하여 가치 함수의 기울기를 직접 추정한다. 이는 기여도 함수를 추정하는 기존의 시간차분 접근 방식의 한계를 극복한다. GProp는 가치, 기울기, 정책를 위한 세 개의 별도의 신경망을 갖춘 Deviator-Actor-Critic(DAC) 모델을 제안하여 기능 근사치의 일관성과 엔드 투 엔드 백프로파게이션을 가능하게 한다. GProp는 올리고푸스 암 벤치마크에서 최신 기준 성능을 달성했으며, 기울기 정확도를 테스트하기 위해 설계된 컨텍스트 벨랜드 태스크에서 지도 학습 성능을 재현했다.

ABSTRACT

This paper proposes GProp, a deep reinforcement learning algorithm for continuous policies with compatible function approximation. The algorithm is based on two innovations. Firstly, we present a temporal-difference based method for learning the gradient of the value-function. Secondly, we present the deviator-actor-critic (DAC) model, which comprises three neural networks that estimate the value function, its gradient, and determine the actor's policy respectively. We evaluate GProp on two challenging tasks: a contextual bandit problem constructed from nonparametric regression datasets that is designed to probe the ability of reinforcement learning algorithms to accurately estimate gradients; and the octopus arm, a challenging reinforcement learning benchmark. GProp is competitive with fully supervised methods on the bandit task and achieves the best performance to date on the octopus arm.

연구 동기 및 목표

• 연속 정책를 위한 딥 강화 학습에서 기능 근사치의 일관성이 부족한 문제를 해결하기 위해.
• 기존의 시간차분 접근 방식이 기여도 함수를 추정하는 데서 비롯하는 제약을 극복하고, 가치 함수의 기울기를 직접 추정할 수 있는 방법을 개발하기 위해.
• 비평가, 기울기 분리기, 액터 네트워크를 분리하여 정책 네트워크에 대한 구조적 의존성이 없이 백프로파게이션을 통해 모두 학습시킬 수 있도록 하기 위해.
• 어려운 연속 제어 벤치마크와 기울기 추정 정확도를 테스트하기 위해 설계된 컨텍스트 벨랜드 태스크에서 알고리즘의 성능을 평가하기 위해.
• 기능 근사치의 일관성이 있는 딥 강화 학습이 회귀 유사 태스크에서 완전히 지도 학습 방법의 성능을 따라잡을 수 있음을 입증하기 위해.

제안 방법

• 함수와 그 기울기를 동시에 추정할 수 있도록 상관관계가 없는 가우시안 노이즈를 사용하는 기울기 편향 기법을 도입하여, 시간차분 학습을 통해 가치와 기울기를 함께 학습할 수 있도록 한다.
• 세 가지 별도의 신경망(가치 함수용, 가치 함수의 기울기용(기울기 분리기), 정책용(액터))으로 구성된 Deviator-Actor-Critic(DAC) 모델을 제안한다.
• 값-기울기 백프로파게이션(GProp) 알고리즘을 설계하여, 세 가지 별도의 신호인 값 TD 오차, 기울기 TD 오차, 정책 기울기 신호를 세 개의 네트워크를 통해 백프로파게이션한다.
• 선형 및 ReLU 활성화 함수를 사용할 경우 정책 기울기 업데이트가 가치 기울기 추정치와 일관성을 유지함을 증명함으로써 기능 근사치의 일관성을 확보한다.
• 최적화에 RMSProp에 Nesterov 모멘텀을 적용하고, 에피소드 성공률에 기반한 노이즈 분산 안내를 통한 적응형 탐색을 구현한다.
• 훈련 안정성을 향상시키기 위해 경험 재생과 네트워크 클로닝을 사용하며, 특히 올리고푸스 암 환경에서 효과적이다.

실험 결과

연구 질문

• RQ1 딥 강화 학습 알고리즘이 시간차분 학습을 통해 가치 함수의 기울기를 직접 추정할 수 있는가?
• RQ2 세 개의 네트워크(가치, 기울기, 정책) 아키텍처가 백프로파게이션을 통해 엔드 투 엔드로 학습될 수 있으며, 기능 근사치의 일관성이 유지되는가?
• RQ3 직접적인 가치 기울기 추정이 연속 제어 태스크에서 더 안정적이고 정확한 정책 학습을 이끌 수 있는가?
• RQ4 이 알고리즘이 기울기 추정 정확도가 요구되는 태스크에서 완전히 지도 학습 방법의 성능을 따라잡을 수 있는가?
• RQ5 제안된 방법이 올리고푸스 암과 같은 어려운 연속 제어 벤치마크에서 이전 최신 기준 성능을 초월하는가?

주요 결과

• GProp는 올리고푸스 암 태스크에서 지금까지 가장 뛰어난 성능을 달성했으며, 평균 50단계 이내에 목표를 향해 안정된 정책으로 도달한다.
• COPDAC-Q보다 더 빠르고 신뢰성 있게 수렴하며, 10번의 훈련 실행 모두에서 일관된 성능을 보였다.
• 비모수적 회귀 데이터셋에서 구성된 컨텍스트 벨랜드 태스크에서 완전히 지도 학습 방법의 성능을 재현했으며, 레이블 없이 동시에 일곱 개의 회귀 문제를 해결했다.
• GProp가 학습한 정책 및 기울기 추정치는 COPDAC-Q보다 더 안정적이며, 단계당 보상의 명백한 변동성은 더 빠른 수렴의 산물일 뿐이다.
• 기울기 분리기 네트워크가 진정한 가치 기울기를 추정할 수 있음으로써 더 정확한 정책 업데이트가 가능했으며, 이는 더 빠른 수렴과 뛰어난 최종 성능으로 입증되었다.
• 이론적 분석을 통해 선형 및 ReLU 활성화 함수를 사용할 경우 GProp가 기능 근사치의 일관성을 유지함을 확인하여 유효한 정책 기울기 업데이트가 가능함을 입증했다.