[논문 리뷰] Representation Policy Iteration

Sridhar Mahadevan|arXiv (Cornell University)|2012. 07. 04.

Machine Learning and Algorithms참고 문헌 18인용 수 33

한 줄 요약

이 논문은 리만 다양체 이론과 호지 이론을 사용하여 대규모 마르코프 결정 과정(MDPs)에서 가치 함수 근사에 최적의 기저 함수를 자동으로 학습하는 새로운 프레임워크인 표현 정책 반복(RPI)을 소개한다. 라플라스-베르트라미 연산자의 고유함수에서 정규수직 기저 함수를 구성함으로써 RPI는 상태 공간에 대한 전역적인 푸리에 유사 분석을 가능하게 하여, LSPI 실험에서 수작업으로 설계된 기저 함수보다 정책 학습 성능을 크게 향상시킨다.

ABSTRACT

This paper addresses a fundamental issue central to approximation methods for solving large Markov decision processes (MDPs): how to automatically learn the underlying representation for value function approximation? A novel theoretically rigorous framework is proposed that automatically generates geometrically customized orthonormal sets of basis functions, which can be used with any approximate MDP solver like least squares policy iteration (LSPI). The key innovation is a coordinate-free representation of value functions, using the theory of smooth functions on a Riemannian manifold. Hodge theory yields a constructive method for generating basis functions for approximating value functions based on the eigenfunctions of the self-adjoint (Laplace-Beltrami) operator on manifolds. In effect, this approach performs a global Fourier analysis on the state space graph to approximate value functions, where the basis functions reflect the largescale topology of the underlying state space. A new class of algorithms called Representation Policy Iteration (RPI) are presented that automatically learn both basis functions and approximately optimal policies. Illustrative experiments compare the performance of RPI with that of LSPI using two handcoded basis functions (RBF and polynomial state encodings).

연구 동기 및 목표

• 대규모 MDP에서 가치 함수 근사에 효과적인 표현을 자동으로 학습하는 데 도전하는 것.
• 수작업으로 설계된 특징에 의존하지 않고 기하학적으로 맞춤형 기저 함수를 이론적으로 근거를 두고 생성하는 방법을 개발하는 것.
• 표현 학습을 정책 반복과 통합하여 근사 MDP 해법기의 표본 효율성과 수렴성을 향상시키는 것.
• 상태 공간의 내재 기하학을 활용하여 전역적이고 토폴로지 인식 기능 근사를 가능하게 하는 것.
• 기존의 수작업으로 설계된 표현 방식(예: RBF 및 다항식)과 비교하여 학습된 표현의 우수한 성능을 입증하는 것.

제안 방법

• 리만 다각형 위의 매끄러운 함수를 통한 가치 함수의 좌표에 의존하지 않는 표현 방식을 사용한다.
• 호지 이론을 적용하여 라플라스-베르트라미 연산자의 고유함수에서 정규수직 기저 함수를 구성한다.
• 상태 공간 그래프에서 전역적인 푸리에 분석을 수행하여 대규모 토폴로지적 구조를 포착한다.
• 학습된 기저 함수를 정책 반복 프레임워크에 통합하여 RPI 알고리즘을 구성한다.
• 기저 생성 과정에서 수학적 엄밀성과 안정성을 보장하기 위해 자기수반 라플라스-베르트라미 연산자를 활용한다.
• 최소 제곱 정책 반복(LSPI)과 같은 임의의 근사 MDP 해법기와 호환되며, 원칙적인 기저 집합을 제공한다.

실험 결과

연구 질문

• RQ1 기하학적으로 정보를 갖춘 자동 기저 함수 생성 방법이 가치 함수 근사에서 수작업으로 설계된 기저 함수를 능가할 수 있는가?
• RQ2 리만 다각형 위에서 라플라스-베르트라미 연산자의 고유함수를 사용할 경우 대규모 MDP에서 정책 학습이 어떻게 향상되는가?
• RQ3 다양체 이론을 통해 포착된 상태 공간의 토폴로지적 구조는 기능 근사와 정책 수렴에 얼마나 기여하는가?
• RQ4 좌표에 의존하지 않고 내재된 표현 방식을 사용한 가치 함수 표현이 더 강건하고 일반화 능력이 뛰어난 정책을 이끌 수 있는가?
• RQ5 정책 반복 내에서 표현 학습을 통합할 경우 표준 LSPI와 비교해 표본 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• RPI는 수작업으로 설계된 기저 함수(RBF 및 다항식 인코딩)를 사용한 LSPI보다 수렴 속도와 최종 정책 품질 측면에서 뚜렷이 뛰어나다.
• 라플라스-베르트라미 연산자의 고유함수에서 유도된 자동으로 학습된 기저 함수는 히وري스틱 인코딩보다 상태 공간의 내재 기하학을 더 효과적으로 포착한다.
• 이 방법은 전역적이고 토폴로지 인식 기능 근사를 가능하게 하여 더 정확하고 안정적인 정책 평가를 이끈다.
• 실험 결과는 RPI 프레임워크가 기준 방법보다 더 빠른 수렴과 낮은 오차를 기록함으로써 가치 함수 근사에서 더 나은 성능을 달성함을 보여준다.
• 호지 이론에서 유도된 정규수직 기저 함수의 사용은 기능 근사에서 수치적 안정성과 개선된 일반화 능력을 보장한다.
• 이 프레임워크는 LSPI를 초월해 임의의 근사 MDP 해법기와 호환되어 광범위하게 적용 가능하다.