[논문 리뷰] On the model-based stochastic value gradient for continuous reinforcement learning

Brandon Amos, Samuel Stanton외 2명|arXiv (Cornell University)|2020. 08. 28.

Reinforcement Learning in Robotics참고 문헌 78인용 수 16

한 줄 요약

이 논문은 고차원 연속 제어 작업에서 최고 성능을 내는 단순한 모델 기반 강화 학습 에이전트를 제안한다. 이 에이전트는 모델 자유형 소프트 Q-값 추정과 모델 기반의 확률적 가치 기울기(SVG)를 결합하여 정책 개선을 수행한다. 단일의 결정성 있는 동역학 모델과 소프트 가치 추정을 사용함으로써, 샘플 효율성과 최종 수익 측면에서 모델 자유형 및 복잡한 모델 기반 기준선을 모두 능가하는 최첨단 성능을 달성한다.

ABSTRACT

For over a decade, model-based reinforcement learning has been seen as a way to leverage control-based domain knowledge to improve the sample-efficiency of reinforcement learning agents. While model-based agents are conceptually appealing, their policies tend to lag behind those of model-free agents in terms of final reward, especially in non-trivial environments. In response, researchers have proposed model-based agents with increasingly complex components, from ensembles of probabilistic dynamics models, to heuristics for mitigating model error. In a reversal of this trend, we show that simple model-based agents can be derived from existing ideas that not only match, but outperform state-of-the-art model-free agents in terms of both sample-efficiency and final reward. We find that a model-free soft value estimate for policy evaluation and a model-based stochastic value gradient for policy improvement is an effective combination, achieving state-of-the-art results on a high-dimensional humanoid control task, which most model-based agents are unable to solve. Our findings suggest that model-based policy evaluation deserves closer attention.

연구 동기 및 목표

• 현대 벤치마크 작업에서 최고 성능을 내는 가장 단순한 모델 기반 에이전트를 특정하는 것.
• 강력한 가치 추정과 결합된 모델 기반 정책 개선이 모델 자유형 방법을 능가할 수 있는지 조사하는 것.
• 동역학 모델 오차에 대한 가치 학습과 정책 개선의 민감도를 평가하는 것.
• 모델 기반 강화 학습에서 복잡성 증가 경향을 도전하기 위해 단순한 구성 요소가 정교한 앙상블보다 뛰어날 수 있음을 보여주는 것.
• 연속 제어에서 모델 기반 정책 평가가 다시 주목받을 만한 가치가 있음을 보여주는 것.

제안 방법

• 이 방법은 단일 결정성 있는 동역학 모델을 사용하여 정책 개선을 위해 단기 예측을 생성하는 스토케스틱 밸류 그라디언트(SVG) 알고리즘을 적용한다.
• SAC에서 유도된 소프트 Q-값 추정을 활용하여 정책 평가를 위한 안정적이고 정확한 가치 타겟을 제공한다.
• 액터는 모델이 생성한 예측을 사용하여 SVG로 업데이트되며, 크리틱은 실제 전이와 모델이 생성한 전이 양쪽 모두에서 학습된다.
• 이 접근법은 모델 앙상블이나 광범위한 모델 캘리브레이션과 같은 복잡한 구성 요소를 피하고, 안정성을 위해 엔트로피 정규화와 가치 소프트닝에 의존한다.
• 가치 확장은 가치 학습 기간 동안이 아닌 정책 개선 기간 동안에만 적용되어 모델 오차에 대한 민감도를 줄인다.
• 이 방법은 고차원 제어 작업, 특히 도전적인 하이먼드 환경에서 평가된다.

실험 결과

연구 질문

• RQ1 단일 결정성 있는 동역학 모델을 사용하는 단순한 모델 기반 에이전트가 최첨단 모델 자유형 및 복잡한 모델 기반 에이전트를 능가할 수 있는가?
• RQ2 모델 기반 강화 학습에서 모델 오차는 가치 학습과 정책 개선 중 어느 쪽에 더 큰 영향을 미치는가?
• RQ3 모델 자유형 SAC에서 유도된 소프트 가치 추정을 사용하면 모델 기반 정책 업데이트의 강건성이 향상되는가?
• RQ4 모델 기반 정책 개선을 위해 SVG를 사용하면 제한된 데이터 조건에서도 모델 자유형 방법보다 더 높은 최종 성능을 달성할 수 있는가?
• RQ5 성능 향상은 아키텍처 설계 때문이 아니라 가치 추정과 정책 기울기 기법의 특정 조합 때문인가?

주요 결과

• 제안된 SAC-SVG(H) 에이전트는 고차원 하이먼드 제어 작업에서 최첨단 모델 자유형 및 모델 기반 에이전트를 모두 능가하여 더 높은 최종 수익과 더 높은 샘플 효율성을 달성한다.
• 허퍼 환경에서, 이 방법은 단일 결정성 있는 동역학 모델을 사용함에도 불구하고 MBPO 및 기타 복잡한 모델 기반 에이전트의 성능을 맞추거나 초월한다.
• 가치 학습은 정책 개선보다 모델 오차에 훨씬 더 민감한 것으로 밝혀졌으며, 특히 크리틱 업데이트 중에 모델 오차가 누적될 경우 성능이 저하되었다.
• 성능 향상은 모델 아키텍처 자체의 덕분이 아니었으며, 동일한 모델 아키텍처가 다른 학습 설정에서 사용될 경우 실패함으로써 학습 절차의 중요성을 입증했다.
• 크리틱 업데이트에 가치 확장(MVE)을 도입한 결과, 모델 오차가 점점 증가함에 따라 시간이 지남에 따라 성능 저하가 발생했으며, 특히 장기 예측 환경에서 두드러졌다.
• 결과적으로, 가치 학습에서 분리된 모델 기반 정책 평가가 적절히 설계된다면 강력하고 강건한 구성 요소가 될 수 있음을 시사한다.