[논문 리뷰] Local Search for Policy Iteration in Continuous Control

Jost Tobias Springenberg, Nicolas Heess외 11명|arXiv (Cornell University)|2020. 10. 12.

Reinforcement Learning in Robotics참고 문헌 55인용 수 8

한 줄 요약

이 논문은 연속 제어에서 국소적이고 정규화된 정책 개선을 위한 통합 프레임워크인 TreePI를 제안한다. 모델-프리와 모델-기반 강화학습을 통합함으로써, 정책 개선 과정에서 학습된 또는 정확한 환경 모델을 사용한 트리 탐색을 활용함으로써, 특히 고정밀도 모델이 가용할 경우 뛰어난 데이터 효율성과 월클록 속도 향상을 달성한다.

ABSTRACT

We present an algorithm for local, regularized, policy improvement in reinforcement learning (RL) that allows us to formulate model-based and model-free variants in a single framework. Our algorithm can be interpreted as a natural extension of work on KL-regularized RL and introduces a form of tree search for continuous action spaces. We demonstrate that additional computation spent on model-based policy improvement during learning can improve data efficiency, and confirm that model-based policy improvement during action selection can also be beneficial. Quantitatively, our algorithm improves data efficiency on several continuous control benchmarks (when a model is learned in parallel), and it provides significant improvements in wall-clock time in high-dimensional domains (when a ground truth model is available). The unified framework also helps us to better understand the space of model-based and model-free algorithms. In particular, we demonstrate that some benefits attributed to model-based RL can be obtained without a model, simply by utilizing more computation.

연구 동기 및 목표

• 추가적인 계산이 모델 기반 학습을 대체할 수 있는가에 대한 질문을 다루기
• 학습 및 동작 선택 중 환경 모델을 사용한 정책 개선의 이점을 조사하기
• 연속 제어에서 모델-프리 및 모델-기반 요소를 탄력적으로 융합할 수 있는 통합 프레임워크 개발하기
• 정확한 모델이 가용할 경우 모델 기반 탐색이 학습을 어떻게 크게 가속화할 수 있는지 보여주기
• 계산의 역할을 정책 최적화에서 명확히 하여, 더 많은 계산이 모델 기반 방법과 유사한 이점을 가져올 수 있음을 보여주기

제안 방법

• 정책 개선, 학습, 실행을 분리하는 KL 정규화 정책 반복 프레임워크 수립하기
• TreePI 도입: 정확하거나 근사된 환경 모델을 사용해 연속 행동 공간에서 국소 트리 탐색을 수행하는 모델 기반 변종
• 몬테 카를로 트리 탐색 유사 백업을 통한 소프트-Q 값 근사치를 사용해 정책 업데이트 유도하기
• 파arametric 정책, 가치 함수, 모델의 탄력적 통합을 허용하여, 모델-프리 및 모델-기반 변종 모두 가능하게 하기
• 학습된 모델과 기저 진실 모델을 모두 사용해 연속 제어 벤치마크에 프레임워크 적용하기
• 정규화된 정책 기울기로 정책 최적화를 수행하며, 탐색 기반 업데이트로 정책 개선 단계 향상시키기

실험 결과

연구 질문

• RQ1 정책 학습 중 추가 계산을 통해 모델이 필요 없이도 모델 기반 방법과 유사한 데이터 효율성을 달성할 수 있는가?
• RQ2 학습 중에 학습된 모델을 사용한 정책 개선이 모델-프리 기준선 대비 데이터 효율성을 향상시키는가?
• RQ3 동작 선택 중 모델 기반 트리 탐색이 데이터 효율성과 학습 속도를 향상시키는가?
• RQ4 정확한 모델을 사용해 추론 시 국소 탐색을 수행할 경우, 고처리량 모델-프리 학습 대비 계산적 트레이드오프 이점이 있는가?
• RQ5 통합 프레임워크가 연속 제어에서 모델-프리 및 모델-기반 접근 방식 사이를 효과적으로 보간할 수 있는가?

주요 결과

• 학습된 모델을 사용한 모델 기반 정책 개선은 최신 모델-프리 알고리즘 대비 뛰어난 데이터 효율성을 확보한다.
• 기저 진실 모델이 가용할 경우, 동작 선택 중 국소 탐색은 분산 모델-프리 방법 대비 최대 5배 빠른 월클록 학습 시간을 제공한다.
• 모델이 없더라도 정책 업데이트 횟수를 늘림으로써 데이터 효율성 향상을 달성한다 — 이는 계산이 모델 사용을 대체할 수 있음을 보여준다.
• TreePI는 고차원 연속 제어 작업에서 정확한 모델과 근사 모델 모두에 대해 강건하게 작동한다.
• 프레임워크는 일부 모델 기반 RL의 이점이 모델이 없이도 더 많은 계산을 통해 달성될 수 있음을 드러낸다.
• 통합 프레임워크는 연속 제어에서 모델 기반 및 모델-프리 접근 방식 간의 트레이드오프를 더 잘 이해할 수 있도록 한다.