[논문 리뷰] Pessimistic Q-Learning for Offline Reinforcement Learning: Towards Optimal Sample Complexity

Laixi Shi, Gen Li외 3명|arXiv (Cornell University)|2022. 02. 28.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 유한한 시간 간격을 가진 MDP에서 오프라인 강화학습을 위한 편향된 Q-학습(LCB-Q)과 그 분산 감소 버전(LCB-Q-Adv)을 제안한다. 이는 분포 이탈과 샘플 부족 문제를 완화하기 위해 편향성 원리를 활용한다. 단일 정 politicy 집중성 가정 하에, $\mathcal{O}(H^4 S C^* / \varepsilon^2)$ 수준의 근사 최적의 샘플 복잡도를 달성하며, 이는 이론적 하한선과 일치하고, 모델 불필요 알고리즘들이 오프라인 RL에서 샘플 효율적임을 입증한다.

ABSTRACT

Offline or batch reinforcement learning seeks to learn a near-optimal policy using history data without active exploration of the environment. To counter the insufficient coverage and sample scarcity of many offline datasets, the principle of pessimism has been recently introduced to mitigate high bias of the estimated values. While pessimistic variants of model-based algorithms (e.g., value iteration with lower confidence bounds) have been theoretically investigated, their model-free counterparts -- which do not require explicit model estimation -- have not been adequately studied, especially in terms of sample efficiency. To address this inadequacy, we study a pessimistic variant of Q-learning in the context of finite-horizon Markov decision processes, and characterize its sample complexity under the single-policy concentrability assumption which does not require the full coverage of the state-action space. In addition, a variance-reduced pessimistic Q-learning algorithm is proposed to achieve near-optimal sample complexity. Altogether, this work highlights the efficiency of model-free algorithms in offline RL when used in conjunction with pessimism and variance reduction.

연구 동기 및 목표

• 실제 적용에 유용한 모델 불필요, 편향된 오프라인 RL 알고리즘의 이론적 이해 부족 문제를 해결한다.
• 유사한 분포 가정 하에 모델 기반과 모델 불필요 오프라인 RL 간의 샘플 효율성 격차를 좁힌다.
• 유한한 시간 간격 MDP에서 편향된 Q-학습 변종에 대해 증명 가능한 샘플 복잡도 보장을 수립한다.
• 편향성과 분산 감소를 모델 불필요 프레임워크에 통합하여 근사 최적의 샘플 복잡도를 달성한다.
• 모델 불필요 알고리즘이 편향성과 분산 감소를 갖추면 오프라인 RL의 이론적 한계에 도달할 수 있음을 보여준다.

제안 방법

• Q-값 추정치에서 신뢰구간 페널티를 빼는 방식으로, 저데이터 영역에서의 과대추정을 줄이는 편향된 Q-학습(LCB-Q)을 제안한다.
• LCB-Q의 분산 감소 버전인 LCB-Q-Adv를 도입하여, Q-값 업데이트 시의 확률적 노이즈를 줄여 샘플 효율성을 향상시킨다.
• 단일 정 politicy 집중성 가정을 활용해 행동 정 politicy와 최적 정 politicy 간 비율을 제한함으로써, 전체 상태-행동 공간 커버리지 없이도 일반화 가능성을 확보한다.
• 프리드먼 부등식과 집중 불등식을 적용하여 경험적 Q-값 추정치가 기대값에서 벗어나지 않도록 제어한다.
• 오차를 편향과 분산 성분으로 분해하여 Q-값 추정 오차에 대한 고확률 경계를 유도한다.
• 경험적 전이 동역학과 가치 함수 추정에 관여하는 항들로 구성된 Q-값 업데이트 오차의 새로운 분해를 활용하여, 제한된 데이터 하에서도 엄격한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 정 politicy 집중성 가정 하에, 모델 불필요, 편향된 Q-학습 알고리즘이 오프라인 RL에서 근사 최적의 샘플 복잡도를 달성할 수 있는가?
• RQ2 분산 감소는 오프라인 환경에서 편향된 Q-학습의 샘플 효율성을 향상시키는가?
• RQ3 단일 정 politicy 집중성 가정은 오프라인 Q-학습 알고리즘의 샘플 복잡도에 어떤 영향을 미치는가?
• RQ4 편향된 Q-학습은 유한한 시간 간격 MDP에서 오프라인 RL의 이론적 하한선에 도달할 수 있는가?
• RQ5 데이터가 부족하고 비균일하게 분포되어 있을 때, 신뢰구간은 Q-값 추정의 안정성에 어떤 역할을 하는가?

주요 결과

• LCB-Q는 동일한 가정 하에 기존의 최고 성능을 보이는 모델 기반 방법과 동일한 샘플 복잡도 $\mathcal{O}(H^6 S C^* / \varepsilon^2)$ 를 달성한다.
• LCB-Q-Adv는 근사 최적의 샘플 복잡도 $\mathcal{O}(H^4 S C^* / \varepsilon^2)$ 를 달성하며, 이는 이론적 하한선과 로그 인자 수준 이내로 일치한다.
• 분산 감소 버전인 LCB-Q-Adv는 특히 저데이터 환경에서 표준 LCB-Q에 비해 샘플 효율성이 뚜렷이 향상된다.
• 분석을 통해 단일 정 politicy 집중성 하에 모델 불필요 Q-학습에서 편향성이 증명적으로 효과적임을 입증하였으며, 전체 상태-행동 공간 커버리지 없이도 가능하다.
• 집중 불등식과 추정 오차의 철저한 분해를 통해 고확률 경계를 확보한 이론적 보장을 도출하였다.
• 결과적으로, 편향성과 분산 감소를 결합한 모델 불필요 알고리즘이 모델 기반 대안과 동일한 샘플 복잡도를 달성할 수 있음을 보여주었다.