[논문 리뷰] Instance-dependent $\ell_\infty$-bounds for policy evaluation in tabular reinforcement learning

Ashwin Pananjady, Martin J. Wainwright|arXiv (Cornell University)|2019. 09. 19.

Reinforcement Learning in Robotics참고 문헌 61인용 수 6

한 줄 요약

이 논문은 표본형 마르코프 보상 과정(MRP)에서 플러그인 추정기와 강건한 변형을 사용하여 정책 평가의 인스턴스에 의존하는 $π\infty$-노름 경계를 수립한다. 이는 새로운 이탈자 제거 이분 기법을 활용하며, 자연스러운 MRP 하위 클래스에서 상수 요인을 제외하고 최소 최대 최적성을 증명한다. 비점근적 보장을 제공하며, 알려지지 않은 문제 인스턴스와 데이터에 의존하는 양상에 따라 달라진다.

ABSTRACT

Markov reward processes (MRPs) are used to model stochastic phenomena arising in operations research, control engineering, robotics, and artificial intelligence, as well as communication and transportation networks. In many of these cases, such as in the policy evaluation problem encountered in reinforcement learning, the goal is to estimate the long-term value function of such a process without access to the underlying population transition and reward functions. Working with samples generated under the synchronous model, we study the problem of estimating the value function of an infinite-horizon, discounted MRP on finitely many states in the $\ell_\infty$-norm. We analyze both the standard plug-in approach to this problem and a more robust variant, and establish non-asymptotic bounds that depend on the (unknown) problem instance, as well as data-dependent bounds that can be evaluated based on the observations of state-transitions and rewards. We show that these approaches are minimax-optimal up to constant factors over natural sub-classes of MRPs. Our analysis makes use of a leave-one-out decoupling argument tailored to the policy evaluation problem, one which may be of independent interest.

연구 동기 및 목표

• 유한한 수평, 할인된 마르코프 보상 과정(MRP)에서 정책 평가의 비점근적, 인스턴스에 의존하는 $π\infty$-노름 오차 경계를 제공하는 것.
• 기본 플러그인 추정기와 강건한 변형의 성능을 생성 모델(시뮬레이터 기반 설정)에서 분석하는 것.
• 제안된 추정기의 최적성을 검증하기 위해 자연스러운 MRP 하위 클래스에서 최소 최대 하한을 수립하는 것.
• 정책 평가 문제에 특화된 새로운 이탈자 제거 이분 논증을 개발하는 것 — 이는 통계적 학습 분야에서 별도의 관심을 끌 수 있다.

제안 방법

• 관측된 상태 전이와 보상에서 전이 및 보상 함수를 추정하고, 추정된 MRP의 가치 함수를 계산하는 플러그인 추정기를 제안한다.
• 모델 잘못 설정 또는 무거운 尾 꼬리 노이즈 하에서의 안정성을 향상시키기 위해 플러그인 추정기의 강건한 변형을 도입한다.
• 추정기의 $π\infty$-노름 오차를 분석하기 위해 이탈자 제거 이분 기법을 활용하며, 이는 인스턴스에 의존하고 데이터에 의존하는 경계를 가능하게 한다.
• 알려지지 않은 문제 인스턴스(예: 전이 구조, 보상 분산)와 관측 가능한 데이터로부터 유도된 양상에 따라 의존하는 비점근적 경계를 유도한다.
• 베르슈타인 유형의 농도 불등식과 극값 이론(예: 이항 랜덤 변수의 최대 이탈) 결과를 사용하여 추정 오차를 경계한다.
• D/3개의 3상태 MRP를 복제하여 구성된 어려운 인스턴스를 정교하게 설계하여 최소 최대 하한을 수립한다. 이는 제안된 경계가 상수 요인을 제외하고 날카롭게 타당하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 플러그인 및 강건한 추정기의 정책 평가 오차는 MRP의 특정 인스턴스(예: 전이 구조, 보상 분산, 할인 인자)에 따라 어떻게 달라지는가?
• RQ2 생성 모델 설정 하에서 표본형 MRP의 정책 평가에 대해 비점근적, 인스턴스에 의존하는 $π\infty$-노름 경계를 도출할 수 있는가?
• RQ3 제안된 플러그인 추정기는 자연스러운 MRP 하위 클래스에서 최소 최대 최적성(상수 요인을 제외하고)을 보장하는가?
• RQ4 이탈자 제거 이분 기법은 정책 평가의 더 날카운 인스턴스 특화 오차 분석을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 데이터에 의존하는 경계는 표본 복잡도와 실용적 관련성 측면에서 전반적인 최악의 경우 경계와 어떻게 비교되는가?

주요 결과

• 플러그인 추정기는 $\frac{\zeta \gamma}{N}$ 비례로 인스턴스에 의존하는 $π\infty$-오차 경계를 확보하며, 여기서 $\zeta = \|\theta^*\|_{\text{span}}$ 이고, 이 경계는 자연스러운 MRP 클래스에서 상수 요인을 제외하고 최소 최대 최적성이다.
• 강건한 추정기는 안정성을 향상시키며, 특히 높은 분산이나 희귀 전이가 존재하는 영역에서 유사한 인스턴스에 의존하는 오차율을 달성한다.
• 3상태 MRP의 D/3개 복제로 구성된 어려운 인스턴스는 플러그인 추정기의 $π\infty$-오차가 기대값에서 $\frac{4}{9} \cdot \frac{\zeta \gamma}{N}$ 이하로 떨어지지 않음을 보여주며, 상한 경계의 날카러움을 확인한다.
• 분석 결과, $N \succsim \frac{1}{1-\gamma}$ 영역에서 주요 오차 항목은 $\frac{\| (I - \gamma P)^{-1} \sigma(\theta^*) \|_\infty}{\sqrt{N}} \sim \frac{1}{\sqrt{N}} \left( \frac{1}{1-\gamma} \right)^{1.5 - \alpha}$ 로 표현되며, 이는 전이 행렬의 스펙트럼 성질에 따라 달라진다.
• 이탈자 제거 이분 기법은 상태 간 최대 이탈을 더 날카롭게 제어함으로써, 기존 농도 불등식보다 더 날카운 경계를 가능하게 한다.
• 관측된 전이 및 보상 샘플로부터 유도된 데이터에 의존하는 경계는 실용적으로 평가 가능하며, 유한 표본 영역에서 의미 있는 오차 제어를 제공한다.