[논문 리뷰] Offline RL with No OOD Actions: In-Sample Learning via Implicit Value Regularization

Haoran Xu, Lì Jiāng외 5명|arXiv (Cornell University)|2023. 03. 28.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 외부 분포(Out-of-Distribution, OOD) 행동 외삽을 피하기 위해 데이터셋의 행동만을 사용하여 가치 함수를 암묵적으로 정규화함으로써 내표본 오프라인 강화학습을 가능하게 하는 암묵적 가치 정규화(Implicit Value Regularization, IVR) 프레임워크를 제안한다. 이 프레임워크는 스퍼스 Q-러닝(Sparse Q-learning, SQL)과 지수 Q-러닝(Exponential Q-learning, EQL)이라는 두 가지 새로운 알고리즘을 도출하며, 낮은 품질의 데이터에 대한 강건성을 향상시키는 스퍼스성(sparse)을 도입함으로써 특히 노이즈가 많고 데이터가 적은 환경에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most offline reinforcement learning (RL) methods suffer from the trade-off between improving the policy to surpass the behavior policy and constraining the policy to limit the deviation from the behavior policy as computing $Q$-values using out-of-distribution (OOD) actions will suffer from errors due to distributional shift. The recently proposed extit{In-sample Learning} paradigm (i.e., IQL), which improves the policy by quantile regression using only data samples, shows great promise because it learns an optimal policy without querying the value function of any unseen actions. However, it remains unclear how this type of method handles the distributional shift in learning the value function. In this work, we make a key finding that the in-sample learning paradigm arises under the extit{Implicit Value Regularization} (IVR) framework. This gives a deeper understanding of why the in-sample learning paradigm works, i.e., it applies implicit value regularization to the policy. Based on the IVR framework, we further propose two practical algorithms, Sparse $Q$-learning (SQL) and Exponential $Q$-learning (EQL), which adopt the same value regularization used in existing works, but in a complete in-sample manner. Compared with IQL, we find that our algorithms introduce sparsity in learning the value function, making them more robust in noisy data regimes. We also verify the effectiveness of SQL and EQL on D4RL benchmark datasets and show the benefits of in-sample learning by comparing them with CQL in small data regimes.

연구 동기 및 목표

• 외부 분포(OOD) 행동으로 인한 분포 이탈 문제로 인해 발생하는 오프라인 강화학습에서 정책 성능와의 근본적 갈등을 해결한다.
• IQL과 같은 내표본 학습 방법이 작동하는 이유를 통합된 암묵적 가치 정규화(IVR) 프레임워크 내에서 재해석함으로써 이해한다.
• 값 정규화를 유지하면서 OOD 행동 쿼리 없이 내표본 학습을 수행할 수 있는 실용적인 내표본 알고리즘을 개발하며, 저데이터 및 노이즈가 많은 환경에서의 강건성을 향상시킨다.
• 데이터셋에 노이즈가 많거나 열등한 전이가 포함되어 있을 경우, 가치 함수 학습에 스퍼스성 도입이 성능 향상에 기여함을 입증한다.
• 표준 D4RL 벤치마크와 자체 설계한 저데이터/노이즈가 많은 데이터 환경에서 제안된 방법을 검증하여 CQL 및 IQL보다 뛰어난 성능을 보여준다.

제안 방법

• 행동 정규화자를 포함한 제약 최적화 문제로 정책 학습을 공식화하는 암묵적 가치 정규화(Implicit Value Regularization, IVR) 프레임워크를 제안한다.
• IVR 하에서 최적 정책는 행동 정책의 가중 혼합으로 닫힌 형태로 표현되며, 이 가중치는 상태-행동 가치 함수에서 유도된다.
• 계산이 불가능한 상태가치 함수 계산을 데이터셋 샘플을 활용해 볼록 최적화 문제로 변환함으로써 내표본 학습이 가능하게 한다.
• CQL과 AWR의 기존 가치 정규화 기법을 내표본 학습 패러다임으로 통합하여 SQL과 EQL을 도출한다.
• 임계값 이하의 Q-값을 가지는 행동을 걸러내는 방식으로 상태가치 함수에 스퍼스성을 도입함으로써 노이즈가 많은 데이터에 대한 강건성을 향상시킨다.
• 값 함수를 오직 데이터셋의 행동에서만 학습함으로써 OOD 행동 가치 추정에 의존하지 않으며, 외삽 오차를 감소시킨다.

실험 결과

연구 질문

• RQ1 IQL처럼 OOD 행동 가치 쿼리 없이도 성능이 뛰어난 이유는 무엇인가?
• RQ2 내표본 학습 방법의 성공을 통합된 이론적 프레임워크로 설명할 수 있는가?
• RQ3 가치 함수 학습에 스퍼스성 도입이 노이즈가 많거나 품질이 낮은 데이터셋에서 강건성을 향상시키는 방식은 무엇인가?
• RQ4 상태 커버리지가 제한된 저데이터 환경에서 내표본 학습이 외표본 학습보다 성능상 이점이 있는가?
• RQ5 기존의 가치 정규화 기법을 성능 손실 없이 완전한 내표본 학습 프레임워크로 적응시킬 수 있는가?

주요 결과

• IQL에서 사용하는 내표본 학습 패러다임은 IVR 프레임워크를 통해 공식적으로 설명되며, 이는 IQL이 하이퍼파rameter τ로 제어되는 강도의 가치 정규화를 암묵적으로 적용한다는 것을 드러낸다.
• IVR 프레임워크에서 유도된 SQL과 EQL은 노이즈가 많은 데이터 환경에서 IQL을 초월한다: 전문가 비율이 5%에 불과한 Walker2d 환경에서 SQL과 EQL은 근접 전문가 성능(≈100 보상)을 달성하는 반면, IQL은 급격히 성능이 떨어진다.
• 저데이터 환경(예: 하드 디스카딩을 적용한 AntMaze)에서 CQL은 벨만 오차가 기하급수적으로 증가(최대 300.5)하고 성능이 붕괴(0% 보상)하는 반면, SQL은 낮은 오차(1.9)와 높은 보상(24.2)을 유지한다.
• AntMaze 벤치마크에서 모든 난이도 수준에서 SQL과 EQL는 CQL보다 낮은 벨만 오차를 기록하며, 이는 내표본 학습으로 인한 가치 외삽 오차 감소를 시사한다.
• SQL의 가치 함수 학습에 도입된 스퍼스성은 낮은 품질의 행동을 걸러내어 전이가 노이즈가 많거나 전문가 데이터가 부족한 경우에도 더 강건한 성능을 제공한다.
• D4RL 및 Atari 벤치마크에서 SQL과 EQL는 최신 기술 수준의 성능을 달성하며, 다양한 오프라인 강화학습 환경에서 내표본 학습과 암묵적 정규화의 이점을 확인한다.