[논문 리뷰] Why So Pessimistic? Estimating Uncertainties for Offline RL through Ensembles, and Why Their Independence Matters

Seyed Kamyar Seyed Ghasemipour, Shixiang Gu외 1명|arXiv (Cornell University)|2022. 05. 27.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 앙상블 기반 오프라인 강화학습에서의 핵심적인 결함을 규명한다: Q-네트워크 간에 공유되는 경계적 타겟(의심스러운 타겟)은 오히려 낙관적인 가치 추정을 유도할 수 있다. 이를 해결하기 위해 저자는 MSG(Model Standard-deviation Gradients)를 제안한다. 이 알고리즘은 각 Q-네트워크를 별도의 타겟과 함께 독립적으로 학습시켜 신뢰도 있는 하한 신뢰구간(LCB) 추정을 가능하게 한다. MSG는 도전적인 D4RL 및 RL Unplugged 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 antmaze 환경에서 뛰어난 성능을 보이며, 분석 결과 독립적인 앙상블의 필요성이 확인된다.

ABSTRACT

Motivated by the success of ensembles for uncertainty estimation in supervised learning, we take a renewed look at how ensembles of $Q$-functions can be leveraged as the primary source of pessimism for offline reinforcement learning (RL). We begin by identifying a critical flaw in a popular algorithmic choice used by many ensemble-based RL algorithms, namely the use of shared pessimistic target values when computing each ensemble member's Bellman error. Through theoretical analyses and construction of examples in toy MDPs, we demonstrate that shared pessimistic targets can paradoxically lead to value estimates that are effectively optimistic. Given this result, we propose MSG, a practical offline RL algorithm that trains an ensemble of $Q$-functions with independently computed targets based on completely separate networks, and optimizes a policy with respect to the lower confidence bound of predicted action values. Our experiments on the popular D4RL and RL Unplugged offline RL benchmarks demonstrate that on challenging domains such as antmazes, MSG with deep ensembles surpasses highly well-tuned state-of-the-art methods by a wide margin. Additionally, through ablations on benchmarks domains, we verify the critical significance of using independently trained $Q$-functions, and study the role of ensemble size. Finally, as using separate networks per ensemble member can become computationally costly with larger neural network architectures, we investigate whether efficient ensemble approximations developed for supervised learning can be similarly effective, and demonstrate that they do not match the performance and robustness of MSG with separate networks, highlighting the need for new efforts into efficient uncertainty estimation directed at RL.

연구 동기 및 목표

• 공유되는 경계적 타겟을 사용하는 기존의 앙상블 기반 오프라인 RL 방법에서 Q-함수 학습에 있어 근본적인 결함을 조사하기 위해.
• 왜 오프라인 RL에서 낙관주의의 목표가 있음에도 불구하고 공유 타겟이 낙관적인 가치 추정을 유도할 수 있는지 이해하기 위해.
• 각 Q-네트워크를 별도의 타겟과 함께 독립적으로 학습시켜 낙관주의를 보장하는 새로운 알고리즘을 개발하기 위해.
• 독립적인 앙상블이 공유되거나 근사된 앙상블 방법보다 더 견고하고 정확한 불확실성 추정을 제공하는지 경험적으로 검증하기 위해.
• 감독 학습에서 유래한 효율적인 앙상블 근사 방법이 오프라인 RL에서 효과적인지 평가하고, RL에 특화된 새로운 방법이 필요한지 규명하기 위해.

제안 방법

• 공유되는 경계적 타겟을 피하기 위해 각 Q-네트워크에 별도의 타겟 네트워크를 사용하는 오프라인 RL 알고리즘인 MSG를 제안한다.
• Q-앙상블의 하한 신뢰구간(LCB)을 모든 Q-네트워크의 예측 평균에서 표준편차를 빼어 계산한다.
• 행동 가치의 LCB를 최적화하여 정책을 학습시켜, 보수적인 가치 추정을 선호함으로써 낙관주의를 보장한다.
• 각 Q-네트워크에 독립적인 타겟 네트워크를 사용하여 앙상블의 불확실성 추정이 공유된 타겟 계산에 의해 편향되지 않고 진정으로 낙관적인 추정이 되도록 보장한다.
• 딥 네트워크를 사용하여 표준 오프라인 RL 벤치마크(D4RL 및 RL Unplugged)에 이 방법을 적용하고, 앙상블 크기와 학습 독립성의 영향을 분석한다.
• 감독 학습에서 유래한 효율적인 앙상블 근사 방법이 오프라인 RL 맥락에서 얼마나 효과적인지 조사하며, 전체 독립 학습과 비교한다.

실험 결과

연구 질문

• RQ1 Q-앙상블 방법에서 Q-네트워크 간에 공유되는 경계적 타겟을 사용할 경우, 오프라인 RL의 낙관주의 목표를 해쳐서 오히려 낙관적인 가치 추정이 발생하는가?
• RQ2 각 Q-네트워크를 별도의 타겟과 함께 독립적으로 학습시킬 경우, 오프라인 RL에서 더 신뢰할 수 있고 진정으로 낙관적인 불확실성 추정이 가능할까?
• RQ3 MSG의 성능은 antmaze와 같은 도전적인 벤치마크에서 최신 기술 수준의 오프라인 RL 알고리즘과 비교해 어떻게 되는가?
• RQ4 앙상블 크기와 학습 독립성은 오프라인 RL에서 불확실성 추정의 견고성과 성능에 어떤 영향을 미치는가?
• RQ5 감독 학습에서 유래한 효율적인 앙상블 근사 방법은 오프라인 RL에 효과적으로 적용될 수 있는가, 아니면 신뢰할 수 있는 불확실성 추정을 위해 전체 독립 학습이 필수적인가?

주요 결과

• 이론적 분석과 토이 MDP 예제를 통해, Q-앙상블에서 공유되는 경계적 타겟 사용이 오히려 낙관적인 가치 추정을 유도함을 입증했다.
• 각 Q-네트워크를 별도의 타겟과 함께 독립적으로 학습하는 MSG는 D4RL 및 RL Unplugged 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 특히 도전적인 antmaze 환경에서 뛰어난 성능을 보였다.
• 분석 결과, 앙상블 구성원의 독립적 학습이 핵심적임을 확인했다. 공유 타겟이나 근사 방법을 사용하는 방법은 낙관주의를 유지하지 못하고 성능이 열등했다.
• 더 큰 앙상블 크기는 성능 향상에 기여하며, 다양한 네트워크 아키텍처와 환경에서 독립적 학습의 이점은 일관되게 나타났다.
• 감독 학습에서 유래한 효율적인 앙상블 근사 방법은 MSG의 별도의 네트워크를 사용하는 방식에 비해 성능이나 견고성에서 뒤지며, RL 전용 불확실성 추정 방법이 필요함을 시사한다.
• antmaze 작업에서 매우 튜닝된 베이스라인들을 광범위하게 뛰어넘는 성능을 보이며, 정확한 낙관주의 추정의 실용적 영향을 입증했다.