[논문 리뷰] If MaxEnt RL is the Answer, What is the Question?

Benjamin Eysenbach, Sergey Levine|arXiv (Cornell University)|2019. 10. 04.

Reinforcement Learning in Robotics참고 문헌 60인용 수 32

한 줄 요약

이 논문은 최대 엔트로피 강화학습(MaxEnt RL)이 보상 불확실성, 예를 들어 메타-POMDP 및 적대적 보상 설정과 같은 제어 문제를 최적해로 해결함을 보여준다. 메타-POMDP에서 MaxEnt RL이 회귀 최소화와 동치임을 증명하고, 이는 스위치적이고 불확실한 환경에서의 경험적 성공을 설명한다.

ABSTRACT

Experimentally, it has been observed that humans and animals often make decisions that do not maximize their expected utility, but rather choose outcomes randomly, with probability proportional to expected utility. Probability matching, as this strategy is called, is equivalent to maximum entropy reinforcement learning (MaxEnt RL). However, MaxEnt RL does not optimize expected utility. In this paper, we formally show that MaxEnt RL does optimally solve certain classes of control problems with variability in the reward function. In particular, we show (1) that MaxEnt RL can be used to solve a certain class of POMDPs, and (2) that MaxEnt RL is equivalent to a two-player game where an adversary chooses the reward function. These results suggest a deeper connection between MaxEnt RL, robust control, and POMDPs, and provide insight for the types of problems for which we might expect MaxEnt RL to produce effective solutions. Specifically, our results suggest that domains with uncertainty in the task goal may be especially well-suited for MaxEnt RL methods.

연구 동기 및 목표

• MaxEnt RL이 최적의 해를 제공하는 기저의 제어 문제를 특정하는 것.
• 표준 RL이 최적화하는 목적함수와 다름에도 불구하고 MaxEnt RL이 실무에서 잘 작동하는 이유를 설명하는 것.
• 보상의 변동성이 존재하는 설정을 정형화하여 MaxEnt RL이 최적의 확률적 정책을 제공하는 것.
• MaxEnt RL, 강건 제어, 부분관측 결정 문제 간의 관계를 설정하는 것.
• MaxEnt RL이 보상에 대한 불확실성이 존재하는 적대적 및 메타학습 설정에서 자연스럽게 유도됨을 보여주는 것.

제안 방법

• 보상 함수가 관측되지 않으며 에피소드 간으로 변하는 메타-POMDP에서 MaxEnt RL을 기대 회귀 최소화로 정형화한다.
• 적대자의 보상 함수 선택을 MDP 집합 위의 분포로 모델링하고, MaxEnt RL이 유도하는 강건 제어 문제를 해결한다.
• 최대 엔트로피 원리를 사용하여 불확실성 하에서 유일하고 최적의 정책을 도출함으로써 악성 보상 실현에 대한 강건성을 확보한다.
• 변분 추론과 주변 분포 일치를 적용하여 MaxEnt RL과 궤적에 대한 정책 혼합 간의 등가성을 보여준다.
• 볼록 쌍대성과 KKT 조건을 활용하여 MaxEnt RL이 강건 보상 제어와 동치인 정규화된 RL 문제를 해결함을 보여준다.
• MaxEnt RL이 보상 함수의 볼록 조합을 갖는 표준 RL 문제로 감소시킬 수 있음을 보이며, 엔트로피 정규화에 의해 최적 정책이 유일하게 보장됨을 보여준다.

실험 결과

연구 질문

• RQ1 MaxEnt RL이 기대 효용을 최대화하지는 않지만, 어떤 제어 문제가 최적해가 되는가?
• RQ2 보상 함수의 불확실성 하에서 MaxEnt RL이 최적의 정책으로 나타나는 설정은 무엇인가?
• RQ3 MaxEnt RL은 강건 제어 및 부분관측 결정 문제와 어떻게 관련이 있는가?
• RQ4 MaxEnt RL이 목적함수를 다르게 최적화함에도 불구하고 실무에서 표준 RL보다 뛰어난 성능을 보이는 이유는 무엇인가?
• RQ5 MaxEnt RL은 엔트로피 최대화를 넘어서 잘 정의된 문제를 해결한다는 점에서 공식적으로 정당화될 수 있는가?

주요 결과

• MaxEnt RL은 보상 함수가 관측되지 않으며 에피소드 간으로 변하는 메타-POMDP에서 회귀 최소화와 동치이다.
• MaxEnt RL은 적대자가 가능성을 고려한 보상 함수를 선택하는 강건 보상 제어 문제에서 최적의 해를 제공한다.
• 엔트로피 정규화 덕분에 MaxEnt RL 하의 최적 정책은 고유하며, 이는 강건성과 열악한 해를 방지한다.
• MaxEnt RL은 보상 함수의 볼록 조합을 갖는 표준 RL 문제로 감소시킬 수 있으며, 최적 정책은 고유한 해이다.
• 이 방법은 동역학과 보상 양쪽에 대한 불확실성까지 포함한 일반적인 강건 제어 문제에 적용 가능하며, 보상 변동성만을 다루는 것은 아니다.
• 이론적 프레임워크는 MaxEnt RL이 실제 제어 과제 및 시뮬레이션 환경에서 불확실성 또는 적대적 환경에서 경험적으로 성공한 이유를 설명한다.