[논문 리뷰] The Differentiable Cross-Entropy Method

Brandon Amos, Denis Yarats|arXiv (Cornell University)|2019. 09. 27.

Reinforcement Learning in Robotics참고 문헌 98인용 수 7

한 줄 요약

이 논문은 비볼록이고 연속적인 최적화를 통해 역전파를 가능하게 하는, 교차 엔트로피 방법(Cross-Entropy Method, CEM)의 미분 가능 변종인 미분 가능 교차 엔트로피 방법(Differentiable Cross-Entropy Method, DCEM)을 소개한다. DCEM은 모델 기반 강화 학습에서 CEM 기반 컨트롤러의 엔드 투 엔드 학습을 허용하며, PPO를 통한 정책 최적화를 가능하게 하고, 샘플 복잡도를 한 단계 낮추면서도 거의 최적의 성능을 달성한다.

ABSTRACT

We study the cross-entropy method (CEM) for the non-convex optimization of a continuous and parameterized objective function and introduce a differentiable variant that enables us to differentiate the output of CEM with respect to the objective function's parameters. In the machine learning setting this brings CEM inside of the end-to-end learning pipeline where this has otherwise been impossible. We show applications in a synthetic energy-based structured prediction task and in non-convex continuous control. In the control setting we show how to embed optimal action sequences into a lower-dimensional space. DCEM enables us to fine-tune CEM-based controllers with policy optimization.

연구 동기 및 목표

• 비볼록이고 연속적인 설정에서 교차 엔트로피 방법(Cross-Entropy Method, CEM)을 통한 엔드 투 엔드 미분 가능한 최적화를 가능하게 하기 위해.
• 최대우도 학습이 제어 목표와 충돌하는 모델 기반 강화 학습에서의 目표 불일치 문제를 해결하기 위해.
• PPO와 같은 정책 최적화 방법을 사용하여 CEM 기반 컨트롤러의 정밀 조정을 가능하게 하기 위해.
• 행동 시퀀스를 낮은 차원의 공간에 통합하여 연속 제어에서 계산 및 메모리 비용을 감소시키기 위해.
• 최적화 기반 머신 러닝 구성 요소에 대해 전개된 기울기 하강법의 미분 가능 대안을 제공하기 위해.

제안 방법

• Amos 등(2019)의 부드러운 top-k 연산을 사용하는 DCEM을 제안하여 argmin 연산을 통한 기울기 계산을 가능하게 하는 CEM의 미분 가능 변종이다.
• DCEM을 비볼록 최적화 문제 $\hat{x} = \arg\min_x f_\theta(x)$의 근사해를 구하는 데 적용한다. 여기서 $f_\theta$는 매개변수 $\theta$에 의해 파arameter화된다.
• DCEM 컨트롤러를 미분 가능한 정책 클래스 $\pi_\theta(x_{\text{init}})$로 사용하여 PPO와 같은 정책 최적화 파ipeline에 통합할 수 있도록 한다.
• 잠재 공간 디코더 $f^{\text{dec}}$를 사용하여 잠재 코드를 행동 시퀀스로 매핑하고, DCEM을 사용해 디코더를 엔드 투 엔드로 최적화한다.
• 모델 구성 요소(디코더, 보상, 전이 모델)를 최대우도 기반으로 학습한 후, 제어 성능 향상을 위해 PPO를 사용해 정밀 조정한다.
• DCEM을 사용한 온라인 학습을 통해 미분 가능성 유지 및 연속 제어 과제에서 실시간 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피 방법이 비볼록 최적화에서 엔드 투 엔드 학습을 가능하게 하도록 미분 가능하게 만들 수 있는가?
• RQ2 에너지 기반 학습에서 DCEM은 전개된 기울기 하강법보다 일반화 및 내성에 뛰어난가?
• RQ3 DCEM을 사용하여 행동 시퀀스를 낮은 차원의 공간에 통합하여 연속 제어에서 계산 비용을 감소시킬 수 있는가?
• RQ4 PPO와 같은 정책 최적화 방법은 최대우도 기반으로 학습된 CEM 기반 컨트롤러를 효과적으로 정밀 조정할 수 있는가?
• RQ5 DCEM은 모델 기반 강화 학습에서 목표 불일치 문제를 완화하는가?

주요 결과

• DCEM은 연속 제어에서 거의 최적의 성능를 달성하면서도 궤적 샘플 수를 한 단계 낮추어 1,000건에서 100,000건으로 줄였다.
• 에너지 기반 학습에서, DCEM은 전개된 기울기 하강법이 기울기 단계 수에 과적합하는 것과는 달리 더 합리적인 에너지 표면을 생성한다.
• PPO 정밀 조정은 DCEM과 전체 CEM 간의 성능 격차를 크게 줄여 효과적인 정책 향상의 가능성을 입증한다.
• DCEM은 CEM 기반 컨트롤러의 엔드 투 엔드 학습을 가능하게 하여 모델 기반 구성 요소를 정책 최적화 파이프라인에 통합할 수 있도록 한다.
• 학습 목표를 제어 성능과 일치시킴으로써 목표 불일치 문제를 성공적으로 해결한다.
• 잠재 행동 공간 통합을 통해 DCEM은 낮은 메모리 및 계산 비용으로 미분 가능한 모델 기반 제어를 가능하게 한다.