[논문 리뷰] Sample-efficient Cross-Entropy Method for Real-time Planning

Cristina Pinneri, Shambhuraj Sawant외 5명|arXiv (Cornell University)|2020. 08. 14.

Advanced Control Systems Optimization참고 문헌 2인용 수 25

한 줄 요약

이 논문은 모델기반 강화학습에서 샘플 효율적인 실시간 경로 최적화를 위한 향상된 크로스 엔트로피 방법인 iCEM을 제안한다. 색깔 잡음을 통한 시간적으로 상관된 동작, 엘리트 유지 메모리, 적응형 평균 동작 주입을 통해 iCEM은 표준 CEM 대비 샘플 수요를 2.7–22배 감소시키고, Humanoid Standup 및 Relocate와 같은 고차원 제어 과제에서 성능을 1.2–10배 향상시킨다.

ABSTRACT

Trajectory optimizers for model-based reinforcement learning, such as the Cross-Entropy Method (CEM), can yield compelling results even in high-dimensional control tasks and sparse-reward environments. However, their sampling inefficiency prevents them from being used for real-time planning and control. We propose an improved version of the CEM algorithm for fast planning, with novel additions including temporally-correlated actions and memory, requiring 2.7-22x less samples and yielding a performance increase of 1.2-10x in high-dimensional control problems.

연구 동기 및 목표

• 표준 CEM과 같은 집단 기반 경로 최적화기의 높은 샘플링 비용 문제를 해결하여 실시간 로봇 제어에의 활용을 가능하게 한다.
• 고차원 동작 공간에서 샘플링 요구량이 실시간 배포를 어렵게 하는 표준 CEM의 비효율성을 극복한다.
• 기울기 정보가 필요 없이 샘플 효율성을 향상시켜 제로계수 최적화기의 실시간 계획 수행을 가능하게 한다.
• 희소 보상이 존재하는 다양한 로봇 제어 과제에서 수렴성과 성능을 향상시키는 통합적이고 모듈화된 CEM 확장 기법을 설계한다.
• iCEM이 실제 동작 모델뿐 아니라 학습된 동역학 모델과도 함께 사용 가능함을 입증하여, 성능 저하 없이 온라인 계획을 가능하게 한다.

제안 방법

• 시간적으로 상관된 동작 시퀀스를 색깔 잡음(1/f^β 스펙트럼)을 사용해 도입하여, 더 효율적인 동작 경로 탐색을 가능하게 한다.
• 반복 간 엘리트 유지 메커니즘을 통해 메모리를 구현하여, 고성능 동작 시퀀스를 보존하고 수렴 속도를 가속화한다.
• 최종 반복에서만 적응형 평균 동작 주입을 적용하여 조기 수렴 편향을 방지하면서도 성능를 유지한다.
• 감쇠 인자 α=0.1과 스케일링 계수 β=1.25를 사용한 모멘텀 기반 평균 동작 갱신을 적용하여 학습 안정성을 향상시킨다.
• 전체 공분산 계산을 피하기 위해 적응형 분산 감쇠를 적용한 대각 공분산 행렬을 사용하여 계산 비용을 감소시킨다.
• 모든 개선 사항을 iCEM 프레임워크 아래 통합하여, 기존 MBRL 파이프라인에서 표준 CEM을 즉각적인 교체가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 고차원 제어 과제에서 실시간 로봇 계획을 위한 샘플 효율성이 충분한 CEM를 개선할 수 있는가?
• RQ2 시간적으로 상관된 동작과 메모리 메커니즘이 경로 최적화에서 수렴 속도와 성능에 어떤 영향을 미치는가?
• RQ3 CEM 프로세스의 다양한 단계에서 평균 동작을 주입할 경우 최종 성능와 안정성에 어떤 영향을 미치는가?
• RQ4 fine-tuning 없이 PlaNet에서 유래한 학습된 모델과 함께 사용할 때 iCEM은 어느 정도 성능 유지를 유지할 수 있는가?
• RQ5 Humanoid Standup 및 Relocate와 같은 다양한 환경에서 iCEM의 성능 향상에 가장 기여하는 구성 요소는 무엇인가?

주요 결과

• Relocate 환경에서 iCEM은 표준 CEM 대비 샘플 사용을 13.7배 감소시키면서도 90% 성공률를 달성한다.
• Humanoid Standup 과제에서 iCEM은 동일한 예산 하에 최신 기술인 CEM 대비 성능을 400% 향상시킨다.
• 제거 실험 결과에 따르면, Fetch Pick&Place에서는 색깔 잡음과 엘리트 유지가 가장 효과적이며, 고차원 조작 과제에서는 평균 주입이 핵심 요소임을 확인했다.
• PlaNet에서 유래한 학습된 모델과 함께 사용할 때도 iCEM은 강력한 성능을 유지하며, 추가적인 fine-tuning 없이도 온라인 계획이 가능하다.
• 모든 평가 환경에서 샘플 요구량을 2.7–22배 감소시켜 일관된 효율성 향상을 입증했다.
• 다양한 무작위 시드에서 성능 향상이 일관되게 나타나, 3회의 독립적인 학습 실행에서 성공률 및 수익률 모두에서 유의미한 향상을 보였다.