[논문 리뷰] Nearly Horizon-Free Offline Reinforcement Learning

Tongzheng Ren, Jialian Li외 3명|arXiv (Cornell University)|2021. 03. 25.

Reinforcement Learning in Robotics참고 문헌 47인용 수 6

한 줄 요약

이 논문은 시간-동질적 MDP에서 오프라인 강화 학습의 거의 환경에 의존하지 않는 샘플 복잡도 경계를 제시한다. 오프라인 정책 평가에서는 오차가 $\tilde{O}\big(\sigma{1}{Kd_m}\big)$이며, 정책 최적화에서는 최적성 격차가 $\tilde{O}\big(\sigma{1}{Kd_m} + \frac{\min(S,d)}{Kd_m}\big)$이다. 핵심 기여는 총 분산을 제어하기 위한 새로운 재귀 기반 방법으로, 주요 오차 항에서 명시적인 $H$-의존성을 제거한다.

ABSTRACT

We revisit offline reinforcement learning on episodic time-homogeneous Markov Decision Processes (MDP). For tabular MDP with $S$ states and $A$ actions, or linear MDP with anchor points and feature dimension $d$, given the collected $K$ episodes data with minimum visiting probability of (anchor) state-action pairs $d_m$, we obtain nearly horizon $H$-free sample complexity bounds for offline reinforcement learning when the total reward is upper bounded by $1$. Specifically: 1. For offline policy evaluation, we obtain an $ ilde{O}\left(\sqrt{\frac{1}{Kd_m}} ight)$ error bound for the plug-in estimator, which matches the lower bound up to logarithmic factors and does not have additional dependency on $\mathrm{poly}\left(H, S, A, d ight)$ in higher-order term. 2.For offline policy optimization, we obtain an $ ilde{O}\left(\sqrt{\frac{1}{Kd_m}} + \frac{\min(S, d)}{Kd_m} ight)$ sub-optimality gap for the empirical optimal policy, which approaches the lower bound up to logarithmic factors and a high-order term, improving upon the best known result by \cite{cui2020plug} that has additional $\mathrm{poly}\left(H, S, d ight)$ factors in the main term. To the best of our knowledge, these are the \emph{first} set of nearly horizon-free bounds for episodic time-homogeneous offline tabular MDP and linear MDP with anchor points. Central to our analysis is a simple yet effective recursion based method to bound a "total variance" term in the offline scenarios, which could be of individual interest.

연구 동기 및 목표

• 기존 방법이 환경 $H$에 대해 다항식 또는 그 이상의 의존성을 보이는 바람에 환경의 고통의 곡선 문제를 해결한다.
• 시간-동질적 MDP에서 오프라인 정책 평가(OPE) 및 오프라인 정책 최적화(OPO)에 대해 거의 $H$에 의존하지 않는 샘플 복잡도 경계를 개발한다.
• 기존 결과에서 명시적인 $\mathrm{poly}(H,S,d)$ 의존성으로 인해 악화되는 것을 방지하고, 알려진 하한선에 로그 요소를 제외한 채로 경계를 일치시킨다.
• 오프라인 RL 분석에서 중요한 '총 분산' 항을 제어하기 위한 새로운 재귀 기반 방법을 도입한다. 이는 별도의 관심사로도 유용할 수 있다.
• 타겟 포인트가 있는 타블루라 및 선형 MDP에서 시간-동질적 MDP의 오프라인 정책 평가 및 최적화에 대해 거의 환경에 의존하지 않는 보장을 처음으로 확립한다.

제안 방법

• 오프라인 RL 오차 분석에서 나타나는 '총 분산' 항을 제어하기 위한 새로운 재귀 기반 방법을 제안한다. 이는 추정 오차를 제어하는 데 핵심적이다.
• 이 재귀 기반 방법을 적용하여 플러그인 추정기의 유한 샘플 오차 경계를 유도한다. 오차는 $\tilde{O}\big(\sqrt{\frac{1}{Kd_m}}\big)$임을 보인다.
• 표본 MDP 위에서 모델 기반 계획을 수행하여 오프라인 정책 최적화에서 $\tilde{O}\big(\sqrt{\frac{1}{Kd_m}} + \frac{\min(S,d)}{Kd_m}\big)$의 최적성 격차를 갖는 정책을 도출한다.
• MDP의 시간-동질적 구조를 활용하여 주요 오차 구성 요소에서 환경 의존성 항을 제거한다.
• 정보 이론적 하한선에 로그 요소와 고차항을 제외한 채로 경계를 확립한다.
• 제안된 방법이 이전 연구에서 관찰된 $\mathrm{poly}(H,S,A,d)$ 의존성, 특히 고차항에서의 의존성을 피하는 것으로 입증된다.

실험 결과

연구 질문

• RQ1 시간-동질적 MDP에서 오프라인 강화 학습이 환경 $H$에 거의 의존하지 않는 샘플 복잡도 경계를 달성할 수 있는가?
• RQ2 명시적인 $H$-의존성이 없는 최적의 유한 샘플 오차 경계는 오프라인 정책 평가에서 무엇인가?
• RQ3 오프라인 정책 최적화에서 최적성 격차를 거의 환경에 의존하지 않게 만들 수 있는가? 기존의 $\mathrm{poly}(H,S,d)$ 요소를 제거한 결과보다 향상된 성능를 달성할 수 있는가?
• RQ4 오프라인 RL에서 '총 분산' 항을 제어하기 위한 일반적인 분석 기법은 존재하는가? 이는 환경의 발산을 피할 수 있는가?
• RQ5 제안된 방법은 오프라인 RL 설정에서 로그 요소를 제외한 채로 최소 최대 최적 샘플 복잡도를 얼마나 잘 달성할 수 있는가?

주요 결과

• 오프라인 정책 평가에서는 플러그인 추정기가 오차 경계 $\widetilde{O}\big(\sqrt{\frac{1}{Kd_m}}\big)$를 달성하며, 이는 알려진 하한선에 로그 요소를 제외한 채 일치하고, 고차항에 추가적인 $\mathrm{poly}(H,S,A,d)$ 의존성이 없다.
• 오프라인 정책 최적화에서는 표본 최적 정책의 최적성 격차가 $\widetilde{O}\big(\sqrt{\frac{1}{Kd_m}} + \frac{\min(S,d)}{Kd_m}\big)$이며, 이는 기존 최고 성능 결과에서 주요 항에서 $\mathrm{poly}(H,S,d)$ 요소를 제거함으로써 향상된 것이다.
• 총 분산을 제어하기 위한 제안된 재귀 기반 방법은 환경에 의존하지 않는 경계를 달성하는 데 핵심적이며, 본 연구 외부에서도 별도의 관심사로 유용할 수 있다.
• 이 연구는 타블루라 및 선형 MDP에서 타겟 포인트가 있는 시간-동질적 MDP에서 오프라인 정책 평가 및 최적화에 대해 처음으로 거의 환경에 의존하지 않는 경계를 확립한다.
• 결과적으로, MDP가 시간-동질적이고 데이터 커버리지가 충분할 경우 환경의 고통의 곡선 문제가 오프라인 RL에서 상당히 완화됨을 보여준다.
• 분석 결과, 시간-동질적 구조가 가치 함수 추정 오차를 더 엄격하게 제어할 수 있음을 보이며, 시간-비동질적 설정에서 관찰되는 $S$-요소의 발산을 피할 수 있음을 시사한다.