[논문 리뷰] Learning continuous control policies by stochastic value gradients

Nicolas Heess, Greg Wayne외 4명|arXiv (Cornell University)|2015. 12. 07.

Reinforcement Learning in Robotics참고 문헌 31인용 수 286

한 줄 요약

이 논문은 확률적 가치 기울기들을 통해 연속 제어 정책을 학습하기 위한 통합 프레임워크를 소개한다. 여기서 벨만 방정식 내의 확률성은 외생 노이즈의 결정적 함수로 간주된다. 모델, 가치 함수, 정책을 통해 종단 간 역전파를 가능하게 함으로써, 이 방법은 시뮬레이션에서 최신 기술 수준의 성능을 달성한다. 특히 SVG(1)은 연속 제어 과제에서 역학, 가치 함수, 정책을 효과적으로 공동으로 학습함을 보여준다.

ABSTRACT

We present a unified framework for learning continuous control policies using backpropagation. It supports stochastic control by treating stochasticity in the Bellman equation as a deterministic function of exogenous noise. The product is a spectrum of general policy gradient algorithms that range from model-free methods with value functions to model-based methods without value functions. We use learned models but only require observations from the environment instead of observations from model-predicted trajectories, minimizing the impact of compounded model errors. We apply these algorithms first to a toy stochastic control problem and then to several physics-based control problems in simulation. One of these variants, SVG(1), shows the effectiveness of learning models, value functions, and policies simultaneously in continuous domains.

연구 동기 및 목표

• 단일 미분 가능한 프레임워크를 통해 연속 제어에서 모델리스 및 모델기반 강화 학습을 통합한다.
• 모델 기반 RL에서의 누적 오차 문제를 해결하기 위해 모델 예측 궤적 대신 실제 환경 관측치로부터 학습한다.
• 확률적 정책, 가치 함수, 학습된 동역학 모델을 통해 종단 간 역전파를 가능하게 한다.
• 가치 기반 및 모델 기반 방법의 장점을 결합한 확장성 있고 효과적인 알고리즘을 개발한다.

제안 방법

• 벨만 방정식 내의 확률성을 외생 노이즈의 결정적 함수로 간주함으로써, 확률적 정책을 통한 역전파를 가능하게 한다.
• 학습된 환경 모델을 사용해 상태 전이를 예측하지만, 모델이 생성한 궤적 대신 실제 관측치를 사용해 훈련한다.
• 역전파를 통한 정책, 가치 함수, 모델 파라미터의 공동 최적화를 가능하게 하는 확률적 가치 기울기를 제안한다.
• 통일된 알고리즘 아키텍처를 사용해 모델리스 및 모델기반 설정 모두에 적용한다.
• 재구성 기법을 사용해 확률적 행동을 통한 기울기 추정을 가능하게 하여 미분 가능성을 확보한다.
• 역학 모델, 가치 함수, 정책을 단일 종단 간 학습 프로세스에서 공동으로 학습하는 SVG(1)이라는 변종을 도입한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 연속 제어에서 모델기반 및 모델리스 강화 학습을 효과적으로 융합할 수 있는가?
• RQ2 다양한 강화 학습 프레임워크 내에서 정책의 확률성은 효율적으로 다룰 수 있는가?
• RQ3 역학 모델, 가치 함수, 정책의 공동 학습은 연속 제어에서 모델 오차의 영향을 줄일 수 있는가?
• RQ4 역전파를 통한 모든 구성 요소의 종단 간 학습으로부터 달성 가능한 성능 향상은 무엇인가?
• RQ5 복잡한 제어 과제에서 기존의 모델리스 및 모델기반 접근법과 비교해 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 프레임워크는 역전파를 통해 정책, 가치 함수, 동역학 모델의 종단 간 학습을 가능하게 하여 안정적이고 효율적인 학습을 달성한다.
• 모델 예측 궤적 대신 실제 환경 관측치를 사용함으로써, 모델 오차의 누적 효과를 최소화한다.
• 이 프레임워크의 변종인 SVG(1)은 연속 제어 과제에서 뛰어난 성능을 보이며 공동 학습의 효과성을 입증한다.
• 이 방법은 단일 통합 알고리즘 아키텍처 내에서 모델리스 및 모델기반 학습을 모두 성공적으로 지원한다.
• 물리 기반 제어 문제를 포함한 시뮬레이션 환경에서 이 방법은 강건성과 확장성을 보여준다.
• 외생 노이즈를 통한 확률적 정책의 미분 가능 처리를 통해 기울기 기반 최적화를 촉진한다.