[논문 리뷰] Modelling transition dynamics in MDPs with RKHS embeddings

Steffen Grünewälder, Guy Lever외 3명|Lancaster EPrints (Lancaster University)|2012. 06. 18.

Reinforcement Learning in Robotics참고 문헌 25인용 수 44

한 줄 요약

이 논문은 조건부 분포를 임bedding으로 표현함으로써 밀도 추정을 피하는 비모수적 방법을 제안한다. 이는 복소수 마코프 결정 과정(MDP)의 전이 동역학을 재생 커널 힐버트 공간(RKHS) 임베딩을 사용하여 모델링하며, 최적 정책 또는 RKHS 내에서 가장 가까운 투영으로의 수렴 보장을 갖는 효율적인 값 반복을 가능하게 한다. 이는 이미지 관측이 있는 제어 및 탐색 과제에서 기준선 방법들을 능가한다.

ABSTRACT

We propose a new, nonparametric approach to learning and representing transition dynamics in Markov decision processes (MDPs), which can be combined easily with dynamic programming methods for policy optimisation and value estimation. This approach makes use of a recently developed representation of conditional distributions as \emph{embeddings} in a reproducing kernel Hilbert space (RKHS). Such representations bypass the need for estimating transition probabilities or densities, and apply to any domain on which kernels can be defined. This avoids the need to calculate intractable integrals, since expectations are represented as RKHS inner products whose computation has linear complexity in the number of points used to represent the embedding. We provide guarantees for the proposed applications in MDPs: in the context of a value iteration algorithm, we prove convergence to either the optimal policy, or to the closest projection of the optimal policy in our model class (an RKHS), under reasonable assumptions. In experiments, we investigate a learning task in a typical classical control setting (the under-actuated pendulum), and on a navigation problem where only images from a sensor are observed. For policy optimisation we compare with least-squares policy iteration where a Gaussian process is used for value function estimation. For value estimation we also compare to the NPDP method. Our approach achieves better performance in all experiments.

연구 동기 및 목표

• 밀도 추정을 필요로 하지 않고 MDP의 전이 동역학을 비모수적으로 표현하는 방법을 개발하는 것.
• 값 반복과 같은 동적 프rogram밍 방법과의 통합을 통해 정책 최적화 및 가치 추정을 가능하게 하는 것.
• RKHS 기반 전이 모델을 사용할 때 값 반복의 이론적 수렴 보장을 제공하는 것.
• 기존 방법들보다도 고전적 제어 및 시각 기반 탐색 과제에서 향상된 성능을 보여주는 것.
• 선형 복잡도를 갖는 RKHS 내적을 활용하여 기대치 계산에서 비가역적 적분을 피하는 것.

제안 방법

• 조건부 전이 분포를 재생 커널 힐버트 공간(RKHS) 내 임베딩으로 표현함으로써 밀도 추정 없이 비모수적 모델링이 가능하다.
• 전이 동역학은 커널 기반 임베딩을 사용하여 표현되며, 기대치는 RKHS 내의 내적을 통해 계산되어 계산 복잡도가 감소한다.
• 핵 트릭을 활용하여 명시적 적분을 피함으로써 상태-행동 가치 기대치의 효율적 계산이 가능해진다.
• 값 반복은 RKHS 임베딩을 전이 동역학에 적용하도록 수정되었으며, 표준 MDP 가정 하에서 수렴이 증명되었다.
• 이 방법은 동적 프로그래밍 알고리즘과 결합되어 복잡한 도메인에서 정책 최적화 및 가치 함수 추정이 가능하다.
• 커널이 정의될 수 있는 임의의 도메인에 적용 가능하며, 이미지와 같은 고차원 관측 공간에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 MDP의 전이 동역학을 밀도 함수나 질량 함수 추정 없이 효과적으로 모델링할 수 있는가?
• RQ2 RKHS 임베딩을 통해 이론적 수렴 보장이 있는 효율적이고 확장 가능한 값 반복이 가능한가?
• RQ3 제어 및 시각 기반 과제에서 RKHS 기반 전이 모델은 파라미터적 및 비모수적 기준선 방법보다 어떻게 비교되는가?
• RQ4 명시적 특징 공학 없이도 고차원 관측(예: 이미지)을 처리할 수 있는가?
• RQ5 임베딩 기반 접근법은 가치 추정 및 정책 학습에서 가우시안 프로세스 기반 및 NPDP 기반 방법보다 우월한가?

주요 결과

• 제안된 방법은 비모수적 제어 및 탐색 과제에서 최소 제곱 정책 반복과 가우시안 프로세스 기반 가치 함수 추정을 사용한 방법보다 뛰어난 성능을 보였다.
• 값 추정에서 NPDP 방법보다도 성능이 뛰어나 샘플 효율성과 정확도가 뛰어나다는 것을 입증하였다.
• 합리적인 가정 하에 값 반복의 수렴이 최적 정책 또는 RKHS 모델 클래스 내에서 가장 가까운 투영으로 보장된다.
• 기대치 계산의 계산 복잡도는 임베딩 표현에 사용된 데이터 포인트 수에 따라 선형으로 증가한다.
• 이 방법은 이미지 기반 관측을 탐색 과제에서 성공적으로 처리하여 고차원 입력 공간에 대한 강건성을 보였다.
• 실험 결과는 이 방법이 고전적 제어 및 시각 기반 강화 학습 환경 모두에서 효과적임을 확인하였다.