[논문 리뷰] Settling the Sample Complexity of Model-Based Offline Reinforcement Learning

Gen Li, Laixi Shi외 3명|arXiv (Cornell University)|2022. 04. 11.

Reinforcement Learning in Robotics인용 수 7

한 줄 요약

이 논문은 보상 함수가 없는 표본 기반 오프라인 강화 학습이 연속적인 MDP에서 최소 최대 최적의 표본 복잡도를 달성함을 보이며, 버닝 인 비용이 없고 베르누이 스타일의 페널티를 가진 비관적 값 반복 알고리즘을 사용한다. 유한 수렴 시간 MDP의 경우 표본 복잡도는 $\frac{SC^\star_{\text{clipped}}}{(1-\gamma)^3\varepsilon^2}$이며, 무한 수렴 시간 MDP의 경우 $\frac{H^4SC^\star_{\text{clipped}}}{\varepsilon^2}$이며, 이는 로그 인자 외에는 최소 최대 하한선과 정확히 일치한다.

ABSTRACT

This paper is concerned with offline reinforcement learning (RL), which learns using pre-collected data without further exploration. Effective offline RL would be able to accommodate distribution shift and limited data coverage. However, prior algorithms or analyses either suffer from suboptimal sample complexities or incur high burn-in cost to reach sample optimality, thus posing an impediment to efficient offline RL in sample-starved applications. We demonstrate that the model-based (or "plug-in") approach achieves minimax-optimal sample complexity without burn-in cost for tabular Markov decision processes (MDPs). Concretely, consider a finite-horizon (resp. $γ$-discounted infinite-horizon) MDP with $S$ states and horizon $H$ (resp. effective horizon $\frac{1}{1-γ}$), and suppose the distribution shift of data is reflected by some single-policy clipped concentrability coefficient $C^{\star}_{ ext{clipped}}$. We prove that model-based offline RL yields $\varepsilon$-accuracy with a sample complexity of \[ \begin{cases} \frac{H^{4}SC_{ ext{clipped}}^{\star}}{\varepsilon^{2}} & ( ext{finite-horizon MDPs}) \frac{SC_{ ext{clipped}}^{\star}}{(1-γ)^{3}\varepsilon^{2}} & ( ext{infinite-horizon MDPs}) \end{cases} \] up to log factor, which is minimax optimal for the entire $\varepsilon$-range. The proposed algorithms are "pessimistic" variants of value iteration with Bernstein-style penalties, and do not require sophisticated variance reduction. Our analysis framework is established upon delicate leave-one-out decoupling arguments in conjunction with careful self-bounding techniques tailored to MDPs.

연구 동기 및 목표

• 환경 상호작용이 허용되지 않는 오프라인 강화 학습에서 분포 이탈과 제한된 데이터 커버리지 문제를 다루기.
• 이전의 표본 기반 오프라인 RL 방법에서의 열악한 표본 복잡도와 높은 버닝 인 비용을 극복하기.
• 무한 및 유한 수렴 시간 표본 기반 MDP에서 오프라인 RL의 표본 복잡도가 최소 최대 최적임을 입증하기.
• 단순한 비관적 모델 기반 알고리즘이 분산 감소나 복잡한 정규화 없이도 최적 성능을 달성할 수 있음을 보여주기.
• MDP에 특화된 떼어낸 하나의 데이터를 제외하는 분해 기법과 자기 유 bounds 기법을 기반으로 한 새로운 분석 프레임워크 제공하기.

제안 방법

• 불확실성 있는 모델 추정에 대응하기 위해 베르누이 스타일의 페널티를 가진 비관적 값 반복 알고리즘인 VI-LCB를 제안한다.
• 행동 정책와 목표 정책 간의 분포 이탈을 측정하기 위해 잘라낸 집중성 계수 $C^\star_{\text{clipped}}$ 를 도입한다.
• 모델 기반 계획에서 값 함수 추정의 통계적 종속성을 다루기 위해 떼어낸 하나의 데이터를 제외하는 분해 기법을 사용한다.
• 오프라인 데이터를 사용한 반복적 값 반복에서 오차 전파를 제어하기 위해 자기 유 bounds 기법을 적용한다.
• 보조 데이터셋과 주 데이터셋을 이중으로 부분 샘플링하여 통계적 종속성을 제거함으로써 분석을 해결한다.
• 혼합 시간 $t_{\text{mix}}$ 와 상태-행동 쌍의 커버리지를 고려한 정밀한 농도 분석을 통해 이론적 보장을 확립한다.

Figure 1: An illustration of prior works, where (a) is about discounted infinite-horizon MDPs and (b) is about finite-horizon MDPs. To facilitate comparisons, we replace $C^{\star}_{\mathsf{clipped}}$ with $C^{\star}$ in our results when drawing the plots given that $C^{\star}_{\mathsf{clipped}}\leq

실험 결과

연구 질문

• RQ1 표본 기반 오프라인 RL은 버닝 인이나 탐색을 요구하지 않고 표본 기반 MDP에서 최소 최대 최적의 표본 복잡도를 달성할 수 있는가?
• RQ2 분포 이탈을 잘라낸 집중성 계수로 측정했을 때, 오프라인 RL의 가장 날카로운 가능한 표본 복잡도는 무엇인가?
• RQ3 복잡한 정규화나 분산 감소 없이도 단순한 비관적 값 반복 알고리즘이 최소 최대 하한선에 도달할 수 있는가?
• RQ4 오프라인 데이터의 통계적 종속성은 모델 기반 RL 알고리즘 분석에서 어떻게 엄밀하게 다뤄질 수 있는가?
• RQ5 혼합 시간 $t_{\text{mix}}$ 는 마르코프 데이터를 가진 오프라인 RL의 표본 복잡도에 어떤 역할을 하는가?

주요 결과

• 제안된 VI-LCB 알고리즘은 무한 수렴 시간 MDP에서 $\varepsilon$-정확도를 달성하기 위해 표본 복잡도 $\frac{SC^\star_{\text{clipped}}}{(1-\gamma)^3\varepsilon^2}$ 를 달성하며, 로그 인자 외에는 최소 최대 하한선과 정확히 일치한다.
• 유한 수렴 시간 MDP의 경우 표본 복잡도는 $\frac{H^4SC^\star_{\text{clipped}}}{\varepsilon^2}$ 로서, 로그 인자 외에는 최소 최대 최적이다.
• 이전 방법들이 안정화되기 위해 괴로운 데이터를 요구하는 것과는 달리, 이 알고리즘은 버닝 인 비용 없이 최적 성능을 달성한다.
• 분석 결과 혼합 시간 $t_{\text{mix}}$ 에 대한 의존성이 미약하며, 오차 한계에 $\frac{t_{\text{mix}}SC^\star_{\text{clipped}}}{(1-\gamma)^2T}$ 항이 포함되어 있음을 보여준다.
• 잘라낸 집중성 계수 $C^\star_{\text{clipped}}$ 가 목표 정책와 행동 정책의 밀도 비율을 측정함으로써, 분포 이탈에 대해 강건함을 입증한다.
• 복잡한 분산 감소가 필요 없이도 새로운 떼어낸 하나의 데이터를 제외하는 분해 기법과 자기 유 bounds 기법을 기반으로 한 이론적 보장을 확립한다.