[논문 리뷰] Policy Evaluation in Continuous MDPs with Efficient Kernelized Gradient Temporal Difference

Alec Koppel, Garrett Warnell외 3명|arXiv (Cornell University)|2017. 09. 13.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 커널 기반 함수 근사법을 사용하여 연속 MDP에서 정책 평가를 위한 메모리 효율적이고 비모수적 방법인 Parsimonious Kernel Gradient Temporal Difference (PKGTD) 학습을 제안한다. 이 방법은 확률적 준거장 방법과 희소 부분공간 투영을 결합하여 감소하는 단계 크기를 사용할 경우 벨먼 고정점으로 거의 확실하게 수렴하고, 일정한 단계 크기를 사용할 경우 이웃 영역으로 평균 수렴을 달성하면서 유한한 모델 복잡도를 유지한다.

ABSTRACT

We consider policy evaluation in infinite-horizon discounted Markov decision problems (MDPs) with infinite spaces. We reformulate this task a compositional stochastic program with a function-valued decision variable that belongs to a reproducing kernel Hilbert space (RKHS). We approach this problem via a new functional generalization of stochastic quasi-gradient methods operating in tandem with stochastic sparse subspace projections. The result is an extension of gradient temporal difference learning that yields nonlinearly parameterized value function estimates of the solution to the Bellman evaluation equation. Our main contribution is a memory-efficient non-parametric stochastic method guaranteed to converge exactly to the Bellman fixed point with probability $1$ with attenuating step-sizes. Further, with constant step-sizes, we obtain mean convergence to a neighborhood and that the value function estimates have finite complexity. In the Mountain Car domain, we observe faster convergence to lower Bellman error solutions than existing approaches with a fraction of the required memory.

연구 동기 및 목표

• 무한 시간 연속 MDP에서 상태 공간과 행동 공간이 컴act할 경우 안정적이고 메모리 효율적인 가치 함수 추정의 과제를 해결한다.
• 고정 기저 집합 없이 복잡한 가치 함수를 표현할 수 있는 비모수적 방법을 개발하여 민감한 비선형 함수 근사가 가능하도록 한다.
• 무한 차원 함수 공간에서도 미약한 가정 하에 진정한 가치 함수로의 수렴을 보장한다.
• 희소 부분공간 투영을 통해 유한한 모델 복잡도를 유지하여 실세계 적용에 실용성을 확보한다.
• 기존 방법보다 훨씬 낮은 메모리 사용량으로 더 빠른 수렴과 낮은 벨먼 오차를 달성한다.

제안 방법

• 재생 커널 힐버트 공간(RKHS)에서 함수 값을 결정 변수로 갖는 조합적 확률적 프로그램으로 정책 평가를 재구성한다.
• 모델 복잡도를 유지하기 위해 확률적 희소 부분공간 투영과 함께 작동하는 기능적 일반화된 확률적 준거장 방법을 도입한다.
• 커널 기반 시간 차이 갱신과 적응적 압축을 사용하는 Parsimonious Kernel Gradient Temporal Difference (PKGTD) 알고리즘을 제안한다.
• 커널 함수를 사용하여 즉각적인 보상과 부트스트랩된 가치 추정치를 모두 포함하는 커널 기반 시간 차이 갱신을 적용한다.
• 지속적인 단계 크기와 고정된 예산 하에서 지지 벡터의 수를 제한하는 압축 메커니즘을 사용하여 유한한 모델 순서를 보장한다.
• RKHS의 재생 성질을 활용하여 효율적인 기능적 기울기 갱신을 가능하게 하면서도 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 비모수적이고 커널 기반의 방법이 상태 공간과 행동 공간이 컴 pact한 연속 MDP에서 벨먼 고정점으로 거의 확실하게 수렴할 수 있는가?
• RQ2 수렴을 포기하지 않고도 비선형 함수 근사에서 메모리 효율성을 어떻게 확보할 수 있는가?
• RQ3 희소 부분공간 투영이 RKHS에서의 확률적 기울기 방법의 수렴성과 복잡도에 미치는 영향은 무엇인가?
• RQ4 기존 접근법에 비해 훨씬 낮은 메모리 사용량으로 더 빠른 수렴과 낮은 벨먼 오차를 달성할 수 있는가?
• RQ5 유한한 모델 복잡도 하에서 일정한 단계 크기 하에서 평균 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 감소하는 단계 크기를 사용할 경우, 진짜 가치 함수가 RKHS에 포함된다는 가정 하에 PKGTD는 거의 확실하게 벨먼 고정점으로 수렴한다.
• 일정한 단계 크기와 고정된 압축 예산 하에서, 방법은 유한한 모델 복잡도를 보장하면서 진짜 가치 함수의 이웃 영역으로 평균 수렴을 보장한다.
• 마운틴 카 도메인에서 PKGTD는 기존 방법보다 더 빠르게 수렴하고 낮은 벨먼 오차를 달성하면서도 메모리 사용량을 극히 줄였다.
• 알고리즘은 항상 유한한 수의 지지 벡터를 유지하여 모델 복잡도가 유한함을 보장하며, 모든 $t$에 대해 모델 순서가 유한한 $M^{ u}$로 유계이다.
• 이론적 분석을 통해 기능적 확률적 준거장 수열이 유계임을 확인했으며, 투영 메커니즘이 유한한 커버링 차원을 보장하여 실용적 구현이 가능함을 입증했다.
• 기능적 기울기의 균일한 결정론적 바ounds를 확립하여 유한한 커버링 추론을 지원하고, 압축 표현의 안정성을 보장한다.