[논문 리뷰] EMaQ: Expected-Max Q-Learning Operator for Simple Yet Effective Offline and Online RL

Seyed Kamyar Seyed Ghasemipour, Dale Schuurmans외 1명|arXiv (Cornell University)|2020. 07. 21.

Reinforcement Learning in Robotics참고 문헌 39인용 수 7

한 줄 요약

EMaQ는 행동 정책의 지원, 샘플 수 및 제안 분포를 명시적으로 모델링함으로써 오프라인 및 온라인 강화학습을 향상시키는 새로운 Expected-Max Q-학습 연산자를 도입한다. D4RL 벤치마크에서 최신 기술 성능을 달성하고, 온라인 RL에서 SAC와 경쟁 가능한 결과를 내며, 이론적으로 탄탄하고 직관적인 백업 메커니즘을 통해 이전 방법들에 비해 더 단순하고 안정적인 대안을 제공한다.

ABSTRACT

Off-policy reinforcement learning holds the promise of sample-efficient learning of decision-making policies by leveraging past experience. However, in the offline RL setting -- where a fixed collection of interactions are provided and no further interactions are allowed -- it has been shown that standard off-policy RL methods can significantly underperform. Recently proposed methods often aim to address this shortcoming by constraining learned policies to remain close to the given dataset of interactions. In this work, we closely investigate an important simplification of BCQ -- a prior approach for offline RL -- which removes a heuristic design choice and naturally restricts extracted policies to remain exactly within the support of a given behavior policy. Importantly, in contrast to their original theoretical considerations, we derive this simplified algorithm through the introduction of a novel backup operator, Expected-Max Q-Learning (EMaQ), which is more closely related to the resulting practical algorithm. Specifically, in addition to the distribution support, EMaQ explicitly considers the number of samples and the proposal distribution, allowing us to derive new sub-optimality bounds which can serve as a novel measure of complexity for offline RL problems. In the offline RL setting -- the main focus of this work -- EMaQ matches and outperforms prior state-of-the-art in the D4RL benchmarks. In the online RL setting, we demonstrate that EMaQ is competitive with Soft Actor Critic. The key contributions of our empirical findings are demonstrating the importance of careful generative model design for estimating behavior policies, and an intuitive notion of complexity for offline RL problems. With its simple interpretation and fewer moving parts, such as no explicit function approximator representing the policy, EMaQ serves as a strong yet easy to implement baseline for future work.

연구 동기 및 목표

• 정책이 데이터셋 분포에서 벗어날 수 있는 오프라인 환경에서 오프-폴리시 강화학습의 성능 저하 문제를 해결하기 위해.
• BCQ와 같은 이전 오프라인 RL 방법에서 히وري스틱 설계 선택 사항(예: 펌프터베이션을 통한 행동 제약)을 제거하기 위해.
• 행동 정책의 지원에 자연스럽게 제약을 가하는 원칙적인 백업 연산자를 유도하기 위해.
• 샘플 수와 제안 분포를 바탕으로 한 새로운 오프라인 RL 복잡도 개념을 도입하여 더 날카운 sub-optimality 바운드를 가능하게 하기 위해.

제안 방법

• 행동 정책에서 N개의 샘플된 행동을 기반으로 표준 Q-학습의 max 또는 기대값 연산을 대체하는 Expected-Max Q-학습(EMaQ) 연산자를 제안한다.
• 가중치는 온도 파라미터로 스케일링된 Q-값의 소프트맥스로부터 유도되며, 효과적으로 Q-평가와 Q-학습 사이를 선형 보간한다.
• 샘플 수 N과 제안 분포 μ(a′|s′)를 명시적으로 통합함으로써 더 정확하고 안정적인 백업을 가능하게 한다.
• 행동 정책 함수 근사의 명시적 사용을 피함으로써 BCQ나 BEAR와 같은 방법들에 비해 모델 복잡도와 학습 오버헤드를 감소시킨다.
• 알고리즘은 행동을 샘플링하기 위한 생성 모델을 사용하고, 이러한 샘플들에 대한 Q-값의 소프트맥스 가중 평균을 계산한다.
• 실제로 EMaQ는 행동 정책 추정치와 Q-함수만 필요로 하여 이전 접근 방식들보다 더 단순하고 효율적이다.

실험 결과

연구 질문

• RQ1 히وري스틱 행동 펌프터베이션을 제거한 BCQ의 단순화된 버전이 오프라인 RL에서 강력한 성능을 내는가?
• RQ2 행동 정책의 지원, 샘플 수, 제안 분포를 명시적으로 모델링하는 것이 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 EMaQ와 같은 새로운 백업 연산자가 더 날카운 sub-optimality 바운드와 오프라인 RL의 새로운 복잡도 측정 기준을 가능하게 하는가?
• RQ4 EMaQ가 D4RL과 같은 표준 오프라인 RL 벤치마크에서 최신 기술 성능을 초월하는가?
• RQ5 샘플 효율성과 최종 성능 측면에서 EMaQ는 SAC와 같은 온라인 RL 알고리즘과 어떻게 비교되는가?

주요 결과

• EMaQ는 다양한 환경에서 D4RL 오프라인 RL 벤치마크에서 이전 최신 기술 성능을 정확히 유지하거나 초월한다.
• Halfcheetah 환경에서 EMaQ는 특히 antmaze-umaze와 같은 도전적인 설정에서 BCQ와 BEAR를 뛰어넘으며, 훨씬 더 안정적인 학습 곡선을 보인다.
• BCQ와 비교해 EMaQ는 학습 안정성이 뛰어나며, 특히 보상이 희박한 환경에서 초기 향상 후 성능이 저하되는 경향이 있는 BCQ와는 대조적으로 안정적인 성능을 유지한다.
• 증가하는 온도 α를 가진 소프트-EMaQ 변형은 EMaQ 성능에 접근하지만, 큰 α 값이 필요하고 추가적인 하이퍼파rameter를 도입해 실용성 면에서 열 劣하다.
• EMaQ의 성능는 행동 정책 모델의 품질에 매우 민감하므로, 생성 모델 설계에 신중한 고려가 필요하다는 점을 시사한다.
• 단순함에도 불구하고, EMaQ는 온라인 RL에서 SAC와 경쟁 가능한 성능을 달성하며, 특히 자원 효율적인 배포 환경에서는 이를 뛰어넘는다.