[논문 리뷰] Maximum Entropy RL (Provably) Solves Some Robust RL Problems

Benjamin Eysenbach, Sergey Levine|arXiv (Cornell University)|2021. 03. 10.

Reinforcement Learning in Robotics참고 문헌 57인용 수 28

한 줄 요약

MaxEnt RL은 강건한 RL 목표에 대한 증명 가능한 하한을 제공하여, dynamics와 rewards에 대한 특정 교란에 대해 추가 강건성 기구 없이도 강건한 정책을 생성합니다.

ABSTRACT

Many potential applications of reinforcement learning (RL) require guarantees that the agent will perform well in the face of disturbances to the dynamics or reward function. In this paper, we prove theoretically that maximum entropy (MaxEnt) RL maximizes a lower bound on a robust RL objective, and thus can be used to learn policies that are robust to some disturbances in the dynamics and the reward function. While this capability of MaxEnt RL has been observed empirically in prior work, to the best of our knowledge our work provides the first rigorous proof and theoretical characterization of the MaxEnt RL robust set. While a number of prior robust RL algorithms have been designed to handle similar disturbances to the reward function or dynamics, these methods typically require additional moving parts and hyperparameters on top of a base RL algorithm. In contrast, our results suggest that MaxEnt RL by itself is robust to certain disturbances, without requiring any additional modifications. While this does not imply that MaxEnt RL is the best available robust RL method, MaxEnt RL is a simple robust RL method with appealing formal guarantees.

연구 동기 및 목표

• 동적 시스템이나 보상이 실제 환경에서 교란될 수 있는 상황에서 강건한 RL의 필요성을 제시한다.
• 이러한 교란하에서 MaxEnt RL이 어떻게 강건한 정책을 생성할 수 있는지 이론적으로 특징짓는다.
• MaxEnt RL의 최대화가 비정규화된 강건 목표에 대한 비관적 관점과의 관련성을 보이고, 강건한 집합을 정량화한다.

제안 방법

• 엔트로피 항과 균형 계수 alpha를 포함하는 MaxEnt RL 목표 J_MaxEnt를 정의한다.
• 강건성 결과를 입증한다: (i) 보상 교란에 대한 강건성(W1) 및 (ii) 비관적 보상 bar{r} (식 3)과 발산 기반 강건 집합(식 5)을 사용하는 역학 교란에 대한 강건성.
• tilde{R}(pi) 및 tilde{P}(pi)를 특징짓고 정책 엔트로피와의 관계를 제시한다(렘마 4.3).
• 비정규화된 강건 목표에 대한 하한에 맥스Ent RL을 연결하는 코로럴리(Corollary) 4.2.1를 제공한다.
• 보상 및 동역학 강건성에 대한 직관을 형성하기 위한 해석 예제를 제시한다.
• MaxEnt RL과 기존의 강건 방법 및 표준 RL을 비교하는 수치 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 MaxEnt RL이 보상 및 역학 교란 하에서 강건한 RL 목표에 대한 하한을 최대화할 수 있는가?
• RQ2 MaxEnt RL 보장의 강건한 보상 및 역학 집합은 무엇인가?
• RQ3 엔트로피 계수가 강건성과 강건 집합의 크기에 어떤 영향을 미치는가?
• RQ4 실험 결과가 실제 작업에서 이론적 강건성 주장들을 뒷받침하는가?

주요 결과

• MaxEnt RL은 비관적 보상 함수에 적용될 때 강건한 RL 목표에 대한 하한을 증명적으로 최대화한다.
• 강건 예산 epsilon은 정책 엔트로피의 하한으로, 엔트로피와 강건성 수준을 연계한다.
• MaxEnt RL 정책은 다양한 경로를 학습하여 역학이나 보상의 교란에 대해 강건성을 제공하고, 특화된 강건 방법과도 경쟁력 있게 수행한다.
• 분석과 실험은 엔트로피 계수가 클수록 강건성이 더 높아지며, 강건성은 역학의 적대적 교란으로 확장될 수 있음을 보여준다.
• 실험 결과는 MaxEnt RL이 벤치마크 과제에서 이전의 강건 RL 방법을 능가하거나 따라잡을 수 있음을 시사하며 개념적으로도 더 간단하다.