[논문 리뷰] Regularized Behavior Value Estimation

Çaǧlar Gülçehre, Sergio Gómez Colmenarejo외 8명|arXiv (Cornell University)|2021. 03. 17.

Reinforcement Learning in Robotics참고 문헌 47인용 수 4

한 줄 요약

이 논문은 오프라인 강화학습에서 타겟 정책의 Q함수 최적화 대신 행동 정책의 가치를 학습 중에 추정하는 새로운 방법인 정규화된 행동가치추정(R-BVE)을 제안한다. 이는 과도한 가치 추정 오차를 감소시킨다. 데이터셋 내 높은 보상을 얻는 행동을 선호하는 순위 정규화 항을 적용함으로써 R-BVE는 RL Unplugged Atari, bsuite, DeepMind Lab 벤치마크에서 최고 성능을 기록하며, 샘플 효율성을 크게 향상시키고 외삽 오차를 감소시킨다.

ABSTRACT

Offline reinforcement learning restricts the learning process to rely only on logged-data without access to an environment. While this enables real-world applications, it also poses unique challenges. One important challenge is dealing with errors caused by the overestimation of values for state-action pairs not well-covered by the training data. Due to bootstrapping, these errors get amplified during training and can lead to divergence, thereby crippling learning. To overcome this challenge, we introduce Regularized Behavior Value Estimation (R-BVE). Unlike most approaches, which use policy improvement during training, R-BVE estimates the value of the behavior policy during training and only performs policy improvement at deployment time. Further, R-BVE uses a ranking regularisation term that favours actions in the dataset that lead to successful outcomes. We provide ample empirical evidence of R-BVE's effectiveness, including state-of-the-art performance on the RL Unplugged ATARI dataset. We also test R-BVE on new datasets, from bsuite and a challenging DeepMind Lab task, and show that R-BVE outperforms other state-of-the-art discrete control offline RL methods.

연구 동기 및 목표

• 오프라인 강화학습에서 분포를 벗어난 상태-행동 쌍에 대한 Q값의 과도한 추정을 해결함으로써 정책의 분리 문제를 완화한다.
• 학습 중에 반복적인 정책 개선을 피하고 정책 개선을 배포 시점으로 연기함으로써 외삽 오차를 감소시킨다.
• 성공적인 결과를 이끄는 데이터셋 내 행동을 우선시함으로써 오프라인 강화학습의 샘플 효율성과 강인성을 향상시킨다.
• 환경 상호작용이 안전하거나 불가능한 실세계 응용 분야에서 분포 이탈에 덜 민감하고 더 신뢰할 수 있는 방법을 개발한다.
• 다양한 환경에서 행동가치추정에 순위 정규화를 적용한 방법이 기존 오프라인 강화학습 알고리즘을 능가하는 경험적 증거를 제공한다.

제안 방법

• R-BVE는 학습 중에 행동 정책의 Q값 $ Q^{/pi_{\cal B}} $ 을 추정함으로써 $ \max $-연산자를 제거하여 과도한 가치 추정을 방지한다.
• 정책 개선은 배포 시점에 한 번만 수행되며, 이는 외삽 오차의 위험을 최소화한다.
• 미관측 행동의 Q값을 낮추고 보상이 높은 경로에서 유래한 행동을 선호하기 위해 순위 정규화 항을 도입한다.
• 정규화 항은 Q값과 기준값 간의 차이를 바탕으로 성공적인 에피소드의 행동이 다른 행동보다 높게 순위 매겨지도록 하는 $ \max $-마진 손실을 사용한다.
• 정규화는 학습 중에 적용되며 Q학습과 딥 Q네트워크와의 호환성을 갖도록 설계되었다.
• 필터링 함수를 사용하여 보상이 있는 에피소드의 전이에만 정규화를 적용함으로써 열악한 경로에 과적합되는 위험을 줄인다.

실험 결과

연구 질문

• RQ1 학습 중 행동 정책의 가치를 추정함으로써 오프라인 강화학습에서 과도한 가치 추정 오차를 줄일 수 있는가?
• RQ2 정책 개선을 배포 시점으로 연기함으로써 오프라인 강화학습의 안정성과 성능이 향상되는가?
• RQ3 데이터셋 내 높은 보상 행동을 우선시하는 순위 정규화 항이 분포 이탈과 과도한 가치 추정의 영향을 줄일 수 있는가?
• RQ4 다양한 벤치마크 환경에서 R-BVE는 최고 수준의 오프라인 강화학습 방법과 어떻게 비교되는가?
• RQ5 R-BVE는 오프라인 강화학습에서 샘플 효율성을 얼마나 향상시키고 외삽 오차를 줄이는가?

주요 결과

• R-BVE는 RL Unplugged Atari 벤치마크에서 최고 성능을 기록하며, 기존 오프라인 강화학습 방법을 모두 능가한다.
• bsuite 및 DeepMind Lab 환경에서 R-BVE는 다른 최고 수준의 이산 제어 오프라인 강화학습 알고리즘보다 일관되게 뛰어난 성능을 보인다.
• 절단 분석 결과에 따르면, R-BVE는 외삽에 의한 과도한 가치 추정 오차를 수개월 정도 감소시킨다.
• R-BVE는 샘플 효율성을 크게 향상시키며, 제한된 데이터셋에서 빠른 수렴과 더 나은 최종 성능을 보이는 경험적 결과를 보였다.
• 순위 정규화 항은 미관측 행동의 Q값을 효과적으로 억제하여 배포 시 나쁜 커버리지의 행동을 선택할 위험을 최소화한다.
• 절단 분석 결과 행동가치추정과 순위 정규화 모두 최적 성능을 내기 위해 필수적이며, 각각 독립적으로 강인성과 정확성에 기여한다.