[논문 리뷰] Near-Optimal Provable Uniform Convergence in Offline Policy Evaluation for Reinforcement Learning

Minghao Yin, Yu Bai외 1명|arXiv (Cornell University)|2020. 07. 07.

Reinforcement Learning in Robotics인용 수 24

한 줄 요약

이 논문은 강화학습에서 오프라인 정책 평가(OPE)를 위한 통일 수렴 프레임워크를 제안하며, 모든 정책 클래스를 동시에 평가하는 데 있어 증명 가능한 근사 최적의 표본 복잡도를 가능하게 한다. 모델 기반 계획법과 오프라인 정책 경험 모델 추정기(OPEMA)를 활용하여, 시간에 따라 변화하는 이른바 에피소드 MDP 모델 하에서 $\epsilon$-최적 정책을 식별하는 데 최적의 에피소드 복잡도 $\widetilde{O}(H^3 / (d_m \epsilon^2))$를 달성한다. 이는 오프라인 강화학습에서 처음으로 증명 가능한 최적 속도를 나타낸다.

ABSTRACT

The problem of Offline Policy Evaluation (OPE) in Reinforcement Learning (RL) is a critical step towards applying RL in real-life applications. Existing work on OPE mostly focus on evaluating a fixed target policy $π$, which does not provide useful bounds for offline policy learning as $π$ will then be data-dependent. We address this problem by simultaneously evaluating all policies in a policy class $Π$ -- uniform convergence in OPE -- and obtain nearly optimal error bounds for a number of global / local policy classes. Our results imply that the model-based planning achieves an optimal episode complexity of $\widetilde{O}(H^3/d_mε^2)$ in identifying an $ε$-optimal policy under the time-inhomogeneous episodic MDP model ($H$ is the planning horizon, $d_m$ is a quantity that reflects the exploration of the logging policy $μ$). To the best of our knowledge, this is the first time the optimal rate is shown to be possible for the offline RL setting and the paper is the first that systematically investigates the uniform convergence in OPE.

연구 동기 및 목표

• 오프라인 정책 평가(OPE)에 대한 통일 수렴 분석의 격차를 해결함으로써, 오프라인 강화학습에서 일반화에 필수적인 요소를 확보하기 위함.
• 특정 정책 하나가 아니라 주어진 정책 클래스 $\Pi$ 내 모든 정책에 대해 추정 오차를 균일하게 제한하는 유한 표본 보장을 제공하기 위함.
• 시간에 따라 변화하는 이른바 에피소드 MDP 모델 하에서 오프라인 정책 학습에 대해 처음으로 증명 가능한 최적의 에피소드 복잡도를 확립하기 위함.
• 모델 기반 계획법과 통일된 OPE가 표본 효율적인 오프라인 학습을 가능하게 하고, 엄밀한 이론적 경계를 제공함을 보여주기 위함.

제안 방법

• 오프라인 데이터에서 직접 상태-행동 분포, 전이 모델, 보상 함수를 추정하는 새로운 오프라인 정책 경험 모델 추정기(OPEMA)를 제안함.
• 초기 상태 분포는 정책 기반 경험 추정을 통해 추정하고, 목표 정책 하에서 추정된 전이 동역학을 반복적으로 전파함.
• 모든 시간 단계와 정책에 걸쳐 추정 오차를 제어하기 위해 통일된 농도 불등식과 마틴게일 기반 경계를 적용함.
• 가치 추정 오차를 모델 오차와 가치 함수 오차 성분으로 분해하여, 재귀적 오차 전파 분석이 가능하게 함.
• 이론적 분석을 용이하게 하기 위해 추정과 계획을 분리하는 가짜 OPEMA 추정기를 도입함.
• 정보 이론적 하한을 통한 정보 이론적 하한을 통해 에피소드 복잡도 경계를 유도하고, 제안된 방법의 날카로움을 입증함.

실험 결과

연구 질문

• RQ1 일반적인 정책 클래스, 즉 전역 정책, 결정론적 정책, 국소 최적 정책를 포함하여, 증명 가능한 유한 표본 보장을 갖는 통일 수렴을 OPE에서 확립할 수 있는가?
• RQ2 시간에 따라 변화하는 이른바 에피소드 MDP 모델 하에서 오프라인 정책 학습에 대해 최적의 표본 복잡도는 무엇이며, 모델 기반 계획법을 통해 이를 달성할 수 있는가?
• RQ3 로그 기록 정책 $\mu$의 탐색 품질, 즉 $d_m$로 측정되는 바가 오프라인 정책 평가 및 학습의 표본 효율성에 어떻게 영향을 미치는가?
• RQ4 제안된 OPEMA 추정기가 오프라인 강화학습의 정보 이론적 하한에 도달할 수 있는가?
• RQ5 표본 효율성과 구현의 명확성 측면에서, 데이터 분할 기반 추정기보다 통합된 비분할 OPEMA 프레임워크가 승리할 수 있는가?

주요 결과

• 제안된 OPEMA 추정기는 높은 확률로 정책 클래스 $\Pi$ 전체에 대해 통일 수렴을 달성하며, $\sup_{\pi \in \Pi} |\widehat{v}^\pi - v^\pi| \leq \epsilon$를 보장함.
• 에피소드 복잡도는 $\epsilon$-최적 정책 식별에 대해 $\widetilde{O}(H^3 / (d_m \epsilon^2))$이며, 이는 로그 인자 외에는 정보 이론적 하한과 정확히 일치함.
• 전역 정책 및 결정론적 정책 클래스의 경우, 통일된 농도 불등식과 마틴게일 부등식을 통해 거의 최적의 오차 경계를 달성함.
• 분석 결과, 기존 시뮬레이션 렘마 기반 접근 방식은 OPEMA 프레임워크에서의 더 엄밀한 재귀적 오차 전파를 통해 $H^2 S$ 요소만큼 향상될 수 있음.
• 통일된 OPE에 대한 표본 복잡도 하한을 확립하여, 유도된 속도가 로그 인자 외에는 최적이 됨을 증명함.
• OPEMA 프레임워크는 데이터 분할 방법의 단점을 피하며, 데이터 사용 효율성이 떨어지고 전이 모델 선택에 모호성이 존재하는 문제를 해결함.