[논문 리뷰] Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization

Homanga Bharadhwaj, Kevin Xie외 1명|arXiv (Cornell University)|2020. 04. 19.

Reinforcement Learning in Robotics참고 문헌 20인용 수 12

한 줄 요약

이 논문은 고차원 행동 공간에서 모델 예측 제어를 향상시키기 위해 크로스 엔트로피 방법(Cross-Entropy Method, CEM)과 기울기 기반 최적화를 유합하는 하이브리드 계획 방법 GradCEM을 제안한다. CEM의 전역 탐색 능력과 기울기 하강법의 빠른 수렴성을 결합함으로써, 더 빠른 최적화를 달성하고 국소 최솟값을 피하며, 다중 극점 문제에서 CEM 성능을 유지하거나 초월한다.

ABSTRACT

Recent works in high-dimensional model-predictive control and model-based reinforcement learning with learned dynamics and reward models have resorted to population-based optimization methods, such as the Cross-Entropy Method (CEM), for planning a sequence of actions. To decide on an action to take, CEM conducts a search for the action sequence with the highest return according to the dynamics model and reward. Action sequences are typically randomly sampled from an unconditional Gaussian distribution and evaluated on the environment. This distribution is iteratively updated towards action sequences with higher returns. However, this planning method can be very inefficient, especially for high-dimensional action spaces. An alternative line of approaches optimize action sequences directly via gradient descent, but are prone to local optima. We propose a method to solve this planning problem by interleaving CEM and gradient descent steps in optimizing the action sequence. Our experiments show faster convergence of the proposed hybrid approach, even for high-dimensional action spaces, avoidance of local minima, and better or equal performance to CEM. Code accompanying the paper is available here https://github.com/homangab/gradcem.

연구 동기 및 목표

• 고차원 행동 공간에서 무작위 샘플링에 의존하는 순수 크로스 엔트로피 방법(Cross-Entropy Method, CEM)의 비효율성을 해결하기 위해 기울기 가이던스가 없는 문제를 해결한다.
• 비볼록이고 고차원인 제어 작업에서 순수 기울기 기반 계획에 내재된 국소 최솟값 문제를 극복한다.
• CEM의 전역 탐색 능력과 기울기 하강법의 빠른 수렴성을 결합한 확장 가능하고 강건한 계획 프레임워크를 개발한다.
• 기울기 가능 동역학 및 보상 모델을 사용하여 모델 기반 강화 학습에서 효과적인 계획을 가능하게 한다.
• 복잡한 로봇 제어 환경에서 인구 기반 또는 순수 기울기 기반 계획자에 대한 실용적이고 효율적인 대안을 제공한다.

제안 방법

• CEM과 기울기 하강법 단계를 번갈아 적용: 기울기 하강법으로 행동 시퀀스를 정밀화한 후, 가장 우수한 성능을 보인 시퀀스를 사용해 CEM의 샘플링 분포를 업데이트한다.
• 시간에 따라 변화하는 정규 분포를 행동 시퀀스에 유지하며, 초기에는 무작위 샘플로 설정하고, 상위-K 경로를 사용해 CEM를 통해 반복적으로 업데이트한다.
• 누적 보상에 대한 행동에 대한 기울기를 계산하기 위해 학습된 동역학 및 보상 모델을 통해 역전파를 적용하여 기울기 기반 최적화를 통해 행동 시퀀스를 정밀화한다.
• 업데이트된 CEM 분포를 사용해 기울기 하강법 과정을 재초기화함으로써 국소 최솟값에서 벗어나도록 한다.
• 반복적 업데이트를 통해 행동 시퀀스를 최적화한다: $\bar{a}_{0:H}^{(k)} := \bar{a}_{0:H}^{(k-1)} + \alpha \nabla_{\bar{a}} \bar{R}(\bar{a}_{0:H}^{(k-1)}, \bar{s}_{0:H}^{(k-1)})$.
• 기울기 가능 모델을 활용해 기울기를 효율적으로 계산함으로써 고차원 연속 제어에서의 확장 가능한 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 CEM과 기울기 하강법을 번갈아 사용하면 고차원 모델 예측 제어에서 수렴 속도가 향상되는가?
• RQ2 비볼록 계획 문제에서 하이브리드 방법이 순수 CEM보다 국소 최솟값을 더 잘 피하는가?
• RQ3 모델 편향이나 나쁜 초기화가 존재하는 상황에서 CEM를 통해 주기적으로 재초기화함으로써 기울기 기반 최적화가 안정화되고 향상되는가?
• RQ4 기존의 계획 기반 방법과 비교해 복잡한 고차원 로봇 제어 과제에 대해 제안된 방법은 어떻게 스케일링되는가?
• RQ5 다중 극점 환경에서 하이브리드 접근법은 표본 효율성과 최종 성능을 유지하거나 향상시키는 데 어느 정도 기여하는가?

주요 결과

• 제안된 GradCEM 방법은 연속 제어 벤치마크를 통해 고차원 행동 공간에서 순수 CEM보다 더 빠른 수렴을 달성한다.
• GradCEM은 일반적으로 순수 기울기 기반 계획자가 갇히는 다수의 보상 피크가 존재하는 환경에서 국소 최솟값을 성공적으로 피한다.
• 다중 극점 문제에서 GradCEM은 CEM 수준의 성능을 달성하거나 이를 초월하며, 同시에 기울기 기반 방법의 수렴 속도를 유지한다.
• CEM의 전역 탐색 능력을 활용해 모델 편향과 불완전한 동역학 모델에 대해 강건성을 확보함으로써 기울기 하강법의 성능을 보완한다.
• 실험 결과로 CEM과 기울기 하강법을 번갈아 사용하면 순수한 방법보다 더 안정적이고 효과적인 계획이 가능함을 입증한다.
• 이 방법은 고차원 연속 제어 과제에 대해 효과적으로 스케일링되며, 최적화 속도와 해 품질 측면에서 순수 CEM 및 기울기 전용 기반 방법을 모두 능가한다.