[논문 리뷰] Munchausen Reinforcement Learning

Nino Vieillard, Olivier Pietquin외 1명|arXiv (Cornell University)|2020. 07. 28.

Experimental Behavioral Economics Studies인용 수 37

한 줄 요약

이 논문은 Munchausen Reinforcement Learning(M-RL)을 소개합니다. 이는 학습을 부트스트랩하기 위해 스케일된 로그-정책으로 보상을 보강합니다; 그 결과 M-DQN과 M-IQN이 비분포적 및 분포적 베이스라인보다 Atari에서 우수하며, 암시적 KL 규제와 행동-갭 증가에 대한 이론적 통찰을 제공합니다.

ABSTRACT

Bootstrapping is a core mechanism in Reinforcement Learning (RL). Most algorithms, based on temporal differences, replace the true value of a transiting state by their current estimate of this value. Yet, another estimate could be leveraged to bootstrap RL: the current policy. Our core contribution stands in a very simple idea: adding the scaled log-policy to the immediate reward. We show that slightly modifying Deep Q-Network (DQN) in that way provides an agent that is competitive with distributional methods on Atari games, without making use of distributional RL, n-step returns or prioritized replay. To demonstrate the versatility of this idea, we also use it together with an Implicit Quantile Network (IQN). The resulting agent outperforms Rainbow on Atari, installing a new State of the Art with very little modifications to the original algorithm. To add to this empirical study, we provide strong theoretical insights on what happens under the hood -- implicit Kullback-Leibler regularization and increase of the action-gap.

연구 동기 및 목표

• TD 학습에서 현재 정책을 부트스트랩 신호로 활용하는 것을 동기부여합니다.
• 스케일된 로그-정책을 보상에 추가하는 간단하고 일반적인 Munchausen 업데이트를 제안합니다.
• 강력한 베이스라인과 비교하며 DQN과 IQN에 적용하여 방법의 효과를 보여줍니다.
• 암시적 KL 규제와 행동-갭 분석을 통한 이론적 해석을 제공합니다.

제안 방법

• 보상에 alpha times tau times log pi(a|s)를 더해 TD 타깃을 보강합니다.
• DQN을 최대 엔트로피 RL로 일반화한 다음 Munchausen 항을 도입하여 M-DQN을 얻습니다.
• Munchausen 아이디어를 IQN에 적용하여 M-IQN을 만들고 Atari에서 최첨단 성능을 보였습니다.
• M-DQN을 추상적 동적 프로그래밍 프레임워크로 재작성하여 연속 정책 간의 암시적 KL 규화를 드러냅니다.
• 행동-갭 증폭을 분석하고 M-RL을 CVI, DPP, AL과 연결합니다.
• 실험적 어블레이션을 수행하여 Munchausen 기여를 분리하고 알파, 타우, 로그-정책 클리핑 하이퍼파라미터의 강건성을 평가합니다.

실험 결과

연구 질문

• RQ1 스케일된 로그-정책으로 보상을 보강하면 표본 효율성과 성능이 표준 TD 방법보다 향상됩니까?
• RQ2 Munchausen RL이 Atari에서 분포적 RL 조작 없이 경쟁적이거나 우수한 성능을 제공합니까?
• RQ3 Munchausen 업데이트를 동반하는 이론적 보장이나 해석(예: KL 규제, 행동-갭 증가)은 무엇입니까?
• RQ4 Munchausen RL은 분포적 RL 설정(IQN 등)으로 어떻게 확장되며 최첨단 베이스라인에 어떤 영향을 줍니까?

주요 결과

• M-DQN은 Atari에서 DQN 및 C51을 크게 능가하며 회귀 타깃의 간단한 수정으로 60개 게임에서 성과를 보입니다.
• M-IQN은 Rainbow를 능가하여 비분포 베이스라인 중 새로운 최첨단을 달성하고 분산 RL 에이전트와 경쟁력 있습니다.
• M-DQN과 M-IQN은 연속 정책 간의 암시적 KL 규정화 효과를 누려 안정성과 오차 평균화를 개선합니다.
• Munchausen 프레임워크는 행동-갭을 정량적으로 증가시켜 근사 오차에 대한 민감성을 낮추는 데 기여합니다.
• 어블레이션 연구는 Munchausen 업데이트가 Soft-DQN, AL, 및 Adam DQN을 능가함을 보여주며, 엔트로피 규제만으로는 얻기 어려운 Munchausen 항의 가치를 강조합니다.
• 이론적 연결은 M-VI를 MD-VI 및 CVI/DPP/AL 문헌과 연결하며, 함수 근사 존재에서의 수렴 특성을 개선하는 경계를 제공합니다.