[논문 리뷰] High-Dimensional Continuous Control Using Generalized Advantage Estimation

John Schulman, Philipp Moritz외 3명|arXiv (Cornell University)|2015. 06. 08.

Reinforcement Learning in Robotics참고 문헌 23인용 수 1,745

한 줄 요약

이 논문은 고차원 연속 제어 작업에 대해 정책 기반 강화 학습의 분산을 줄이기 위해 가치 함수 추정치와 시간적 책임 할당 기법을 결합한 일반화된 이득 추정(GAE) 방법을 제안한다. 이는 깊이 있는 신경망 정책의 안정적 훈련을 가능하게 하며, 단지 1~2주 분량의 시뮬레이션 경험만으로도 복잡한 3D 운동 제어 작업에서 인간 수준의 성능을 달성한다.

ABSTRACT

Policy gradient methods are an appealing approach in reinforcement learning because they directly optimize the cumulative reward and can straightforwardly be used with nonlinear function approximators such as neural networks. The two main challenges are the large number of samples typically required, and the difficulty of obtaining stable and steady improvement despite the nonstationarity of the incoming data. We address the first challenge by using value functions to substantially reduce the variance of policy gradient estimates at the cost of some bias, with an exponentially-weighted estimator of the advantage function that is analogous to TD(lambda). We address the second challenge by using trust region optimization procedure for both the policy and the value function, which are represented by neural networks. Our approach yields strong empirical results on highly challenging 3D locomotion tasks, learning running gaits for bipedal and quadrupedal simulated robots, and learning a policy for getting the biped to stand up from starting out lying on the ground. In contrast to a body of prior work that uses hand-crafted policy representations, our neural network policies map directly from raw kinematics to joint torques. Our algorithm is fully model-free, and the amount of simulated experience required for the learning tasks on 3D bipeds corresponds to 1-2 weeks of real time.

연구 동기 및 목표

• 고차원 연속 제어 작업에 대해 정책 기반 강화 학습의 높은 분산과 불안정성을 해결한다.
• 기울기 추정을 향상시켜 딥 강화 학습에서 효과적인 학습을 위한 샘플 수를 줄인다.
• 신뢰 영역 최적화를 사용하여 깊이 있는 신경망 정책과 가치 함수의 안정적 훈련을 가능하게 한다.
• 수작업으로 설계된 특징 없이도 원시 운동학적 관측치에서 직접 복잡한 운동 기술(달리기, 일어나기 등)을 학습할 수 있도록 한다.

제안 방법

• γ와 λ로 매개변수화된 일반화된 이득 추정기(GAE)를 도입하여 시간 차이 추정치와 몬테카를로 추정치를 융합하는 분산 감소 기법을 제공한다.
• TD(λ)와 유사한 지수 평균 이득 함수 추정기를 사용하여 정책 기반 기울기 추정에서 편향과 분산의 균형을 맞춘다.
• 신뢰 영역 최적화를 정책과 가치 함수 양쪽에 적용하여 훈련 중 안정적이고 일관된 갱신을 보장한다.
• 원시 상태 입력에서부터 엔드 투 엔드 학습이 가능한 10^4개 이상의 파라미터를 가진 깊이 신경망을 사용해 정책과 가치 함수를 표현한다.
• 신뢰 영역 방법을 사용해 가치 함수를 훈련시켜 샘플 효율성과 수렴 안정성을 향상시킨다.
• GAE를 사용해 부트스트랩된 가치 함수 추정치를 통해 보상 신호를 변형함으로써 학습 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반화된 이득 추정기는 고차원 제어 작업에서 수용 가능한 편향을 유지하면서도 정책 기반 기울기 추정의 분산을 줄일 수 있는가?
• RQ2 신뢰 영역 최적화는 연속 제어 환경에서 깊이 있는 신경망 정책과 가치 함수의 안정적 훈련을 가능하게 하는가?
• RQ3 원시 운동학적 입력에서부터 엔드 투 엔드로 딥 강화 학습을 수행할 경우, 뛰기나 일어나기와 같은 복잡한 3D 운동 제어 행동을 학습할 수 있는가?
• RQ4 샘플 효율성과 학습 안정성 측면에서 GAE는 기존의 1단계 또는 몬테카를로 이득 추정 방식보다 어떻게 비교되는가?
• RQ5 모델리스 딥 강화 학습은 복잡한 3D 로봇 제어 작업에서 인간 수준의 성능을 어느 정도 달성할 수 있는가?

주요 결과

• 제안된 방법은 단지 1~2주 분량의 시뮬레이션 경험만으로 이족보와 4족보 시뮬레이션 로봇에 대해 복잡한 달리기 자세를 성공적으로 학습시켰다.
• 정책 네트워크는 원시 운동학적 관측치를 직접 관절 토크로 매핑하여 수작업 특징 설계가 필요 없음을 입증했다.
• 기존의 표준 정책 기반 기울기 추정기 대비 GAE는 기울기 분산을 크게 감소시켜 더 빠르고 안정적인 학습을 가능하게 했다.
• 정책과 가치 함수 양쪽에 대해 신뢰 영역 최적화를 적용함으로써 일관된 성능 향상이 이루어졌고, 훈련 중 성능 붕괴를 방지했다.
• 알고리즘은 어려운 3D 운동 제어 작업, 예를 들어 엎드리기 자세에서 일어나기 등에서도 인간 수준의 성능을 달성했다.
• 이 방법은 다양한 로봇 형태와 제어 목표에 대해 잘 일반화되어 있으며, 고차원 연속 제어 환경에서의 강건성을 입증했다.