[논문 리뷰] Reinforcement Learning with Deep Energy-Based Policies

Tuomas Haarnoja, Haoran Tang외 2명|arXiv (Cornell University)|2017. 02. 27.

Reinforcement Learning in Robotics참고 문헌 40인용 수 434

한 줄 요약

에너지 기반 정책으로 다중모달 확률적 행동을 연속 도메인에서 표현하는 soft Q-learning을 도입하고, 정책으로부터 샘플링하기 위해 amortized Stein variational gradient descent를 사용하며, actor-critic 방법과의 연결고리를 제시한다.

ABSTRACT

We propose a method for learning expressive energy-based policies for continuous states and actions, which has been feasible only in tabular domains before. We apply our method to learning maximum entropy policies, resulting into a new algorithm, called soft Q-learning, that expresses the optimal policy via a Boltzmann distribution. We use the recently proposed amortized Stein variational gradient descent to learn a stochastic sampling network that approximates samples from this distribution. The benefits of the proposed algorithm include improved exploration and compositionality that allows transferring skills between tasks, which we confirm in simulated experiments with swimming and walking robots. We also draw a connection to actor-critic methods, which can be viewed performing approximate inference on the corresponding energy-based model.

연구 동기 및 목표

• 연속 상태 및 행동 공간에서 표현력 있는 확률적 정책 학습을 자극한다.
• 에너지 기반 모델을 통해 최대 엔트로피 정책 탐색을 임의의 정책 분포로 확장한다.
• 깊은 네트워크를 위한 근사 샘플링을 갖춘 실용적이고 확장 가능한 알고리즘(soft Q-learning)을 개발한다.
• 여러 작업 간 탐색 및 기술의 구성적 전달에서의 이점을 보여준다.

제안 방법

• 정책을 pi(a|s) ∝ exp(-E(s,a)) 형태의 에너지 기반 모델로 형식화한다.
• soft Q-functions를 사용해 에너지 기반 정책과 엔트로피 정규화된 RL 사이의 연결을 만든다(정리 1).
• 고정점 수렴을 위한 soft Bellman 방정식과 soft Q-iteration을 도출한다(정리 3).
• 암호화된 SVGD(fφ)를 통한 정책 샘플링 네트워크와 함께 심층 네트워크를 사용한 실용적 soft Q-learning을 구현한다.
• 샘플링 네트워크를 actor로 간주하고, 이를 통해 actor-critic 프레임워크와의 연결을 확립한다.

실험 결과

연구 질문

• RQ1 에너지 기반 정책이 연속 도메인에서 복잡하고 다중모달한 행동 분포를 표현할 수 있는가?
• RQ2 경로에 걸친 엔트로피 최대화가 탐색을 개선하고 기술 이전에 대한 사전학습을 가능하게 하는가?
• RQ3 고차원에서 에너지 기반 정책으로부터 효율적으로 샘플링하고 이를 심층 RL과 어떻게 결합할 수 있는가?
• RQ4 엔트로피 정규화된 RL, Q-learning, 그리고 actor-critic 방법之间의 연결고리는 무엇인가?

주요 결과

• 방법은 에너지 랜드스케이프와 일치하는 다중모달 확률 정책을 학습하여 다양한 행동(예: 여러 목표)을 가능하게 한다.
• soft Q-learning은 DDPG와 같은 결정론적 방법에 비해 다중모달 보상 지형에서 탐색을 개선한다.
• 최대 엔트로피 정책은 새로운 기술 미세조정(파인튜닝) 시에 일반적인 사전학습보다 더 나은 초기화 역할을 한다.
• Amortized SVGD는 에너지 기반 정책으로부터 빠르고 편향되지 않은 샘플을 제공하고 접근 방식의 actor-critic 해석을 드러낸다.
• 시뮬레이션된 수영 및 사지 보행 과제에서의 실험적 결과는 탐색 및 기술 전달 가능성을 향상시킨다.