[논문 리뷰] Hilbert Space Embeddings of POMDPs

Yu Nishiyama, Abdeslam Boularias외 2명|arXiv (Cornell University)|2012. 10. 16.

Water Systems and Optimization참고 문헌 23인용 수 21

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에 상태, 관측값, 행동의 확률 분포를 통합함으로써 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)에서 정책 학습을 위한 비모수적 방법을 제안한다. 커널 베이즈의 정리로 믿음 상태를 추정하고 특징 공간에서 벨만 방정식을 설정함으로써, 모수적 가정 없이가치 반복을 통해 최적의 정책을 학습할 수 있으며, 실험을 통해 특징 공간 표현을 사용하여 정책 복원에 성공함을 확인하였다.

ABSTRACT

A nonparametric approach for policy learning for POMDPs is proposed. The approach represents distributions over the states, observations, and actions as embeddings in feature spaces, which are reproducing kernel Hilbert spaces. Distributions over states given the observations are obtained by applying the kernel Bayes' rule to these distribution embeddings. Policies and value functions are defined on the feature space over states, which leads to a feature space expression for the Bellman equation. Value iteration may then be used to estimate the optimal value function and associated policy. Experimental results confirm that the correct policy is learned using the feature space representation.

연구 동기 및 목표

• 기저 상태 공간이 고차원이거나 알려져 있지 않을 때 POMDP에서 최적의 정책을 학습하는 데 도전한다.
• 믿음 상태 추정과 정책 표현에서 모수적 모델의 한계를 극복한다.
• 강력한 분포 가정 없이도 기능적 표현을 가능하게 하고 특징 공간에서 가치 반복을 허용하는 비모수적 프레임워크를 개발한다.
• 상태 전이 또는 관측 모델에 대한 명시적 지식 없이도 관측 데이터만을 사용하여 엔드 투 엔드 정책 학습을 가능하게 한다.

제안 방법

• 커널 평균 임베딩을 사용하여 상태, 관측값, 행동의 결합 및 조건부 분포를 재생 커널 힐버트 공간(RKHS)의 원소로 표현한다.
• 통합된 분포에 적용된 커널 베이즈의 정리를 통해 관측값이 주어졌을 때 상태에 대한 후행 분포(믿음 상태)를 추정한다.
• 값 함수와 정책을 상태의 RKHS에서 직접 정의함으로써 비모수적으로 기능적 표현을 가능하게 한다.
• 특징 공간에서 가치 반복을 가능하게 하기 위해 특징 공간에서 벨만 방정식을 재구성한다.
• 커널 리지 회귀 또는 유사한 방법을 사용하여 특징 공간에서 샘플링된 전이 데이터로부터 값 함수를 추정한다.
• 특징 공간에서 가치 반복을 수행하여 최적의 값 함수로 수렴하고 해당 정책을 추출한다.

실험 결과

연구 질문

• RQ1 POMDP에서 커널 기반 분포 임베딩을 사용하여 비모수적 믿음 상태 추정을 효과적으로 달성할 수 있는가?
• RQ2 재생 커널 힐버트 공간에서 벨만 방정식을 어떻게 재구성하여 모수적 가정 없이 가치 반복을 지원할 수 있는가?
• RQ3 상태 전이 또는 관측 모델에 대한 명시적 지식 없이도 관측 데이터만을 사용하여 커널 기반 분포 임베딩으로 최적의 정책을 학습할 수 있는가?
• RQ4 제안된 방법이 POMDP에서 표준 모수적 접근법에 비해 올바른 정책을 복원하는 데 얼마나 우수한 성능을 보이는가?

주요 결과

• 제안된 방법은 관측 데이터와 커널 기반 표현만을 사용하여 실험 평가에서 정확한 최적의 정책을 성공적으로 학습하였다.
• 통합된 분포에 적용된 커널 베이즈의 정리를 통해 믿음 상태가 정확히 추정되었으며, 이는 효과적인 정책 학습을 가능하게 하였다.
• 가치 반복 과정이 특징 공간에서 수렴하여 POMDP에서의 비모수적 동적 프로그래밍의 가능성을 입증하였다.
• 복잡하거나 알려지지 않은 상태 분포를 가진 설정에서 모수적 기준선에 비해 경쟁 가능한 성능을 달성하였다.
• 전이 또는 관측 모델에 대한 명시적 모수적 형태가 필요 없이 정책 학습이 가능하여 모델링 편향을 감소시켰다.