[논문 리뷰] Optimal policy evaluation using kernel-based temporal difference methods

Yaqi Duan, Mengdi Wang외 1명|arXiv (Cornell University)|2021. 09. 24.

Statistical Methods and Inference참고 문헌 49인용 수 4

한 줄 요약

이 논문은 유한한 할인 인자에 대한 무한한 수명 할인 마르코프 보상 과정에서 최적의 정책 평가를 위한 커널 기반 시간 차이 방법을 제안한다. 정규화된 커널 최소제곱 시간 차이 추정기인 선형 시스템을 푸는 데로 축소되는 커널 행렬을 포함하는 방법을 사용한다. 주요 기여는 커널 고유값과 벨만 잔차 분산에 명시적인 의존성을 가지는 비점점적 $L^2(\mu)$ 오차 경계를 도출한 것으로, 이는 비율이 최소최대 최적임을 보여주며, 효과적 수명 $H = (1 - \gamma)^{-1}$ 에 대한 스케일링이 커널과 문제 인스턴스에 따라 세제곱 이하일 수 있음을 드러낸다.

ABSTRACT

We study methods based on reproducing kernel Hilbert spaces for estimating the value function of an infinite-horizon discounted Markov reward process (MRP). We study a regularized form of the kernel least-squares temporal difference (LSTD) estimate; in the population limit of infinite data, it corresponds to the fixed point of a projected Bellman operator defined by the associated reproducing kernel Hilbert space. The estimator itself is obtained by computing the projected fixed point induced by a regularized version of the empirical operator; due to the underlying kernel structure, this reduces to solving a linear system involving kernel matrices. We analyze the error of this estimate in the $L^2(μ)$-norm, where $μ$ denotes the stationary distribution of the underlying Markov chain. Our analysis imposes no assumptions on the transition operator of the Markov chain, but rather only conditions on the reward function and population-level kernel LSTD solutions. We use empirical process theory techniques to derive a non-asymptotic upper bound on the error with explicit dependence on the eigenvalues of the associated kernel operator, as well as the instance-dependent variance of the Bellman residual error. In addition, we prove minimax lower bounds over sub-classes of MRPs, which shows that our rate is optimal in terms of the sample size $n$ and the effective horizon $H = (1 - γ)^{-1}$. Whereas existing worst-case theory predicts cubic scaling ($H^3$) in the effective horizon, our theory reveals that there is in fact a much wider range of scalings, depending on the kernel, the stationary distribution, and the variance of the Bellman residual error. Notably, it is only parametric and near-parametric problems that can ever achieve the worst-case cubic scaling.

연구 동기 및 목표

• 무한 수명 할인 마르코프 보상 과정에서 커널 기반 정책 평가 방법의 정밀한 통계적 특성화를 제공하기 위해.
• 정규화된 커널 최소제곱 시간 차이 추정기의 $L^2(\mu)$-노름에서의 추정 오차를 분석하기 위해, 여기서 $\mu$는 정적 분포이다.
• 커널 고유값과 벨만 잔차 분산에 명시적인 의존성을 가지는 비점점적 오차 경계를 유도하기 위해.
• 표본 크기 $n$ 과 효과적 수명 $H = (1 - \gamma)^{-1}$ 에 대한 오차 비율의 최소최대 최적성임을 입증하기 위해 최소최대 하한선을 수립하기 위해.
• 최악의 경우 세제곱 스케일링($H^3$)이 발생하는 조건을 밝혀내기 위해, 이는 파arametric 또는 근사-파라미터릭 설정에서만 발생하며, 더 풍부한 커널은 상당히 더 나은 스케일링을 가능하게 한다.

제안 방법

• 방법은 재생 커널 힐버트 공간(RKHS)에서 프로젝션된 벨만 연산자의 고정점을 이루는 정규화된 커널 최소제곱 시간 차이(LSTD) 추정의 형태를 사용한다.
• 표본 추정기는 커널 행렬을 포함하는 선형 시스템을 풀어 계산되며, 표현 정리(representer theorem)를 활용하여 계산 가능성을 보장한다.
• 분석은 경험 과정 이론을 사용하여 경험적 및 인구 수준의 커널 LSTD 해 사이의 $L^2(\mu)$ 추정 오차를 경계한다.
• 최소한의 가정만을 요구하는 분석—보상 함수와 인구 수준의 해에 대해서만—마르코프 체인의 전이 연산자에 대한 구조적 가정 없이 수행된다.
• 방법은 커널 적분 연산자의 고유구조와 벨만 잔차의 분산을 통합하여 문제 특성에 따라 오차의 의존성을 정교화한다.
• 하위 클래스의 MRP에 대해 최소최대 하한선을 도출하여 제안된 상한선의 최적성 여부를 입증한다.

실험 결과

연구 질문

• RQ1 무한 수명 MRP 설정에서 정규화된 커널 LSTD 추정기의 비점점적 $L^2(\mu)$ 추정 오차는 무엇인가?
• RQ2 오차는 커널 연산자의 고유값과 벨만 잔차 분산에 어떻게 의존하는가?
• RQ3 효과적 수명 $H = (1 - \gamma)^{-1}$ 에 대해 최악의 경우 세제곱 스케일링($H^3$)을 피할 수 있으며, 만약 가능하면 어떤 조건에서 가능한가?
• RQ4 제안된 오차 경계는 관련 MRP 문제 클래스에서 최소최대 최적인가?
• RQ5 오차 스케일링이 세제곱 이하에서 파라미터릭 또는 근사-파라미터릭 비율로 전이되는 조건은 무엇인가?

주요 결과

• 논문은 커널 연산자의 고유값과 벨만 잔차 분산에 명시적인 의존성을 가지는 비점점적 상한선을 도출하여 $L^2(\mu)$ 추정 오차에 대해 보장한다.
• 상한선은 효과적 수명 $H = (1 - \gamma)^{-1}$ 에 대한 스케일링이 항상 세제곱이 아니며, 커널과 문제 인스턴스에 따라 상당히 더 나은 스케일링이 가능함을 드러낸다.
• 제안된 오차 경계는 하위 클래스의 MRP에 대해 유도된 일치하는 하한선을 통해 최소최대 최적임을 확인한다.
• 세제곱 스케일링($H^3$)은 파라미터릭 또는 근사-파라미터릭 문제에서만 발생하며, 더 풍부한 커널 클래스는 이러한 최악의 행동을 피할 수 있음을 시사한다.
• 분석은 커널 연산자의 고유값 갭과 정적 분포의 집중도 간의 상호작용이 추정 오차를 제어함을 보여주며, 고유값이 느리게 감소할수록 더 탴튼 경계를 확보할 수 있음을 나타낸다.
• 방법은 변형된 고유벡터의 $\ell_1$-노름이 일정 수준을 유지함으로써, 편향에 대한 커널 기반 표현의 안정성을 확보한다.