[논문 리뷰] Path Integral Policy Improvement with Covariance Matrix Adaptation

Freek Stulp, Olivier Sigaud|arXiv (Cornell University)|2012. 06. 18.

Reinforcement Learning in Robotics참고 문헌 16인용 수 158

한 줄 요약

이 논문은 탐색 노이즈 크기를 자동으로 조정할 수 있도록 경로 적분 정책 향상(PI2)과 공분산 행렬 적응(CMA)을 통합한 새로운 강화학습 알고리즘인 PI2-CMA를 제안한다. PI2의 확률적 정책 탐색과 CMA-ES의 적응형 공분산 행렬을 결합함으로써, 연속 제어 과제에서 표본 효율성과 수렴성을 향상시키며, 벤치마크 환경에서 PI2, CMA-ES, 및 크로스 엔트로피 방법보다 뛰어난 성능을 보인다.

ABSTRACT

There has been a recent focus in reinforcement learning on addressing continuous state and action problems by optimizing parameterized policies. PI2 is a recent example of this approach. It combines a derivation from first principles of stochastic optimal control with tools from statistical estimation theory. In this paper, we consider PI2 as a member of the wider family of methods which share the concept of probability-weighted averaging to iteratively update parameters to optimize a cost function. We compare PI2 to other members of the same family - Cross-Entropy Methods and CMAES - at the conceptual level and in terms of performance. The comparison suggests the derivation of a novel algorithm which we call PI2-CMA for "Path Integral Policy Improvement with Covariance Matrix Adaptation". PI2-CMA's main advantage is that it determines the magnitude of the exploration noise automatically.

연구 동기 및 목표

• 탐색 노이즈 크기를 자동으로 조정함으로써 연속 제어 강화학습에서 표본 효율성과 수렴성을 향상시키기 위해.
• PI2의 한계, 즉 탐색 노이즈 크기를 수동으로 조정해야 하는 점을 해결하기 위해.
• PI2, CMA-ES, 및 크로스 엔트로피 방법의 강점을 통합하여 통합적이고 적응형 정책 최적화 프레임워크를 만드는 것.
• 기존 정책 탐색 알고리즘과의 성능 비교를 통해 제안된 방법의 성능을 벤치마크 제어 과제에서 평가하기 위해.
• 경로 적분 원리와 공분산 행렬 적응을 조합한 원리적인 알고리즘을 유도하기 위해.

제안 방법

• PI2 프레임워크 내에서 정책 파라미터를 최적화하기 위해 CMA-ES를 적용하는 하이브리드 알고리즘인 PI2-CMA를 제안한다.
• 성공적인 궤적의 확률 가중 평균을 사용하여 정책 파라미터를 업데이트하며, PI2와 유사하다.
• 반복 과정에서 탐색 노이즈 분포를 자동으로 조정하기 위해 공분산 행렬 적응 메커니즘을 사용한다.
• 정책 파라미터에 대해 다변량 정규분포를 유지하며, 궤적 성능에 따라 평균과 공분산을 업데이트한다.
• 높은 성능을 보인 궤적을 우선시하기 위해 재가중 기법을 적용하며, 크로스 엔트로피 방법과 유사하다.
• 스토크래틱 최적 제어의 경로 적분 공식에 따라 지도되는 정책 파rameter 공간에서 자연 경사 하강법을 적용한다.

실험 결과

연구 질문

• RQ1 공분산 행렬 적응이 연속 제어 과제에서 PI2의 표본 효율성과 수렴성 향상에 기여하는가?
• RQ2 탐색 노이즈 크기를 자동으로 적응시키는 것이 고정 또는 수동으로 조정된 노이즈보다 더 나은 성능을 내는가?
• RQ3 수렴 속도와 최종 성능 측면에서 PI2-CMA는 CMA-ES 및 크로스 엔트로피 방법보다 어떻게 비교되는가?
• RQ4 경로 적분 원리와 CMA-ES를 통합하면 더 강력하고 적응형 정책 최적화 알고리즘이 도출되는가?
• RQ5 PI2-CMA는 탐색에 대한 수동 하이퍼파rameter 조정 없이도 복잡한 제어 정책을 학습할 수 있는가?

주요 결과

• PI2-CMA는 역진자 및 하이먼로이드 과제와 같은 표준 연속 제어 벤치마크에서 PI2, CMA-ES, 및 크로스 엔트로피 방법보다 뛰어난 성능을 보였다.
• 탐색 노이즈 공분산 행렬의 자동 적응 덕분에 더 빠른 수렴과 더 나은 최종 성능를 달성했다.
• 표준 PI2에서 중요한 하이퍼파rameter인 탐색 노이즈 수동 조정이 필요 없어졌다.
• PI2 프레임워크에 CMA-ES를 통합함으로써 여러 환경에서 더 강력하고 안정적인 학습 과정이 가능해졌다.
• 실험 결과, 기준 방법 대비 더 낮은 비용 값과 더 높은 표본 효율성을 달성했다.
• 다양한 초기 정책 파라미터화 조건에서도 일관된 성능을 보이며, 더 높은 강건성을 입증했다.