[논문 리뷰] Fast Rates for the Regret of Offline Reinforcement Learning

Yichun Hu, Nathan Kallus외 1명|arXiv (Cornell University)|2021. 01. 31.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 4

한 줄 요약

이 논문은 질량 함수 추정치의 점별 오차의 거듭제곱에 비례하는 회귀 손실 수렴 속도를 보여줌으로써 오프라인 강화 학습에서 빠른 손실 수렴 속도를 확립한다. 이는 선형 MDP에서는 $O(1/n)$ 수렴 속도를, 표본 MDP에서는 $/\exp(-\bigOmega(n))$ 수렴 속도를 낳는다. 분석은 문제에 특화된 노이즈 수준(마진 조건)을 활용하며, 일반적인 함수 근사에 대해 $L_p$ 기반 보장을 확장한다.

ABSTRACT

We study the regret of reinforcement learning from offline data generated by a fixed behavior policy in an infinite-horizon discounted Markov decision process (MDP). While existing analyses of common approaches, such as fitted $Q$-iteration (FQI), suggest a $O(1/\sqrt{n})$ convergence for regret, empirical behavior exhibits \emph{much} faster convergence. In this paper, we present a finer regret analysis that exactly characterizes this phenomenon by providing fast rates for the regret convergence. First, we show that given any estimate for the optimal quality function $Q^*$, the regret of the policy it defines converges at a rate given by the exponentiation of the $Q^*$-estimate's pointwise convergence rate, thus speeding it up. The level of exponentiation depends on the level of noise in the \emph{decision-making} problem, rather than the estimation problem. We establish such noise levels for linear and tabular MDPs as examples. Second, we provide new analyses of FQI and Bellman residual minimization to establish the correct pointwise convergence guarantees. As specific cases, our results imply $O(1/n)$ regret rates in linear cases and $\exp(-Ω(n))$ regret rates in tabular cases. We extend our findings to general function approximation by extending our results to regret guarantees based on $L_p$-convergence rates for estimating $Q^*$ rather than pointwise rates, where $L_2$ guarantees for nonparametric $Q^*$-estimation can be ensured under mild conditions.

연구 동기 및 목표

• 이론적 $O(1/\sqrt{n})$ 손실 수렴 속도와 오프라인 RL에서의 경험적 빠른 수렴 사이의 괴리를 설명하기 위해.
• 단지 추정 오차가 아니라 의사결정 문제의 노이즈 수준(마진 조건)에 따라 손실 수렴 속도를 특성화하기 위해.
• FQI 및 수정된 벨먼 잔차 최소화와 같은 가치 기반 오프라인 RL 방법에 대해 더 날카로운 손실 수렴 경계를 제공하기 위해.
• 점별 오차를 넘어서 일반적인 함수 근사에 대해 $L_p$-노름 기반 보장을, 특히 $L_2$에 대해 확장하기 위해.
• 분류 이론의 빠른 수렴 분석, 강화 학습 이론, 경험 리스크 최소화 기법을 통합하여 오프라인 학습에 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• Q*의 점별 추정 오차의 거듭제곱에 의존하는 새로운 손실 수렴 경계를 도입하며, 이 거듭제곱의 지수는 문제의 마진 조건에 의해 결정된다.
• 두 번째로 좋은 행동의 부적합성에 대한 0에 가까운 밀도를 기반으로 하는 마진 조건을 정의하여 문제에 특화된 노이즈 수준을 캡처한다.
• 성능 차이 보조정과 마르코프 부등식을 활용하여, Q* 추정 오차와 마진 파rameter $\delta_0$에 따라 정책 손실을 경계한다.
• 완전성과 특징 커버리지 가정 하에서 FQI 및 수정된 벨먼 잔차 최소화에 대해 점별 수렴 보장을 확립한다.
• 결과를 $Q^*$ 추정치의 $L_p$-노름 수렴으로 확장하여, $L_2$-보장이 온건한 조건 하에서 빠른 손실 수렴 속도를 유도함을 보여준다.
• 빠른 수렴 분석 기법( Audibert & Tsybakov, 2007), 강화 학습 이론(Agarwal 등, 2020a), 경험 리스크 최소화 기법(Wainwright, 2019)을 통합한다.

실험 결과

연구 질문

• RQ1 FQI와 같은 오프라인 RL 방법이 이론적 경계가 $O(1/\sqrt{n})$임에도 불구하고 실무에서 $O(1/\sqrt{n})$를 초월하는 빠른 손실 수렴을 보이는 이유는 무엇인가?
• RQ2 이론적과 경험적 손실 수렴 속도 사이의 괴리를 문제에 특화된 노이즈 수준, 예를 들어 마진 조건으로 설명할 수 있는가?
• RQ3 Q* 추정치의 점별 수렴 속도와 그로부터 유도된 탐욕 정책의 최종 손실 사이의 정밀한 관계는 무엇인가?
• RQ4 완전성과 특징 커버리지 등의 표준 가정 하에서 FQI 및 수정된 벨먼 잔차 최소화에 대해 빠른 손실 수렴 속도를 확립할 수 있는가?
• RQ5 일반적인 함수 근사에 대해 $L_p$-노름 수렴, 특히 $L_2$ 수렴으로의 분석을 어떻게 확장할 수 있는가?

주요 결과

• Q* 추정치로부터 유도된 탐욕 정책의 손실은 점별 추정 오차의 거듭제곱에 의해 결정되는 수렴 속도를 가지며, 이 지수는 문제의 마진 조건에 따라 달라진다.
• 선형 MDP에서는 표준 가정 하에서 FQI 및 수정된 벨먼 잔차 최소화가 $O(1/n)$ 손실 수렴 속도를 달성한다.
• 표본 MDP에서는 손실이 $\exp(-\Omega(n))$의 지수 속도로 수렴하여 $O(1/\sqrt{n})$보다 훨씬 빠르게 수렴한다.
• 일반적으로 선형 및 표본 MDP에서 마진 조건은 강력하여, 추정 오차가 단지 $O(1/\sqrt{n})$일지라도 빠른 손실 수렴 속도를 가능하게 한다.
• 일반적인 함수 근사에 대해, 온건한 조건 하에서 $Q^*$ 추정치의 $L_2$ 수렴은 동일한 거듭제곱 메커니즘을 통해 빠른 손실 수렴 속도를 이끈다.
• 분류 이론의 빠른 수렴 기법, 강화 학습 이론, 경험 리스크 최소화 기법을 통합하여, 점별 또는 $L_p$-기반 $Q^*$ 추정 보장을 갖는 모든 가치 기반 오프라인 RL 방법에 적용 가능한 프레임워크를 제공한다.