[논문 리뷰] A Function Approximation Approach to Estimation of Policy Gradient for POMDP with Structured Policies

Huizhen Yu|arXiv (Cornell University)|2012. 07. 04.

Reinforcement Learning in Robotics참고 문헌 18인용 수 7

한 줄 요약

이 논문은 구조화된 유한 상태 컨트롤러를 사용하여 부분 관측 가능 마르코프 결정 과정(POMDP)에서 정책 기울기 추정을 위한 새로운 액터-크리틱 접근법을 제안한다. 기존의 상태 기반 가치 함수가 아닌 진짜 가치 함수의 조건부 평균을 추정하도록 크리틱을 훈련시킴으로써, 선형 함수 근사와 시간 차분 방법을 통해 효율적인 정책 기울기 학습이 가능해지며, 이는 이전에 GPOMDP를 초월해 탐색되지 않은 POMDP에 대한 액터-크리틱을 확장한다.

ABSTRACT

We consider the estimation of the policy gradient in partially observable Markov decision processes (POMDP) with a special class of structured policies that are finite-state controllers. We show that the gradient estimation can be done in the Actor-Critic framework, by making the critic compute a "value" function that does not depend on the states of POMDP. This function is the conditional mean of the true value function that depends on the states. We show that the critic can be implemented using temporal difference (TD) methods with linear function approximations, and the analytical results on TD and Actor-Critic can be transfered to this case. Although Actor-Critic algorithms have been used extensively in Markov decision processes (MDP), up to now they have not been proposed for POMDP as an alternative to the earlier proposal GPOMDP algorithm, an actor-only method. Furthermore, we show that the same idea applies to semi-Markov problems with a subset of finite-state controllers.

연구 동기 및 목표

• 기존에 액터-오직 방법(예: GPOMDP) 외에 액터-크리틱 방법이 POMDP에 적용되지 않은 부족함을 해결하기 위해.
• 전체 상태 관측 가능성 없이도 구조화된 유한 상태 컨트롤러를 사용한 POMDP에서 정책 기울기 추정을 가능하게 하기 위해.
• 기본 POMDP 상태에 의존하지 않는 조건부 평균 가치 함수를 계산하는 크리틱 구성 요소를 개발하기 위해.
• 선형 함수 근사 및 시간 차분 학습 기법을 구조화된 정책을 가진 POMDP 환경에 확장하기 위해.
• 유한 상태 컨트롤러를 사용하는 반-마르코프 결정 과정에 이 방법의 적용 가능성을 입증하기 위해.

제안 방법

• 크리틱은 정책의 내부 상태와 관측값을 기반으로 진짜 상태 기반 가치 함수의 조건부 기대값인 가치 함수를 추정한다.
• 확장성 확보를 위해 선형 함수 근사를 사용하여 시간 차분(TD) 학습을 통해 크리틱의 함수 근사기 업데이트를 수행한다.
• 정책 기울기는 액터 구성 요소를 통해 추정되며, 이는 크리틱의 가치 추정값을 기반으로 유한 상태 컨트롤러의 파라미터를 업데이트한다.
• 표준 액터-크리틱과 TD 학습의 분석 결과를 활용하여 이를 구조화된 정책을 가진 POMDP 환경에 적응한다.
• 경험 트레이젝터리를 사용하여 예측된 값과 목표 값 간의 평균 제곱 오차를 최소화하도록 크리틱의 함수 근사기를 훈련시킨다.
• 유사한 조건부 가치 추정 원리를 더 긴 수평선 결정 과정에 적용하여 이 프레임워크를 반-마르코프 문제로 확장한다.

실험 결과

연구 질문

• RQ1 전체 상태 관측이 없는 구조화된 정책을 가진 POMDP에 대해 액터-크리틱 방법을 효과적으로 적용할 수 있는가?
• RQ2 전체 POMDP 상태에 직접 접근하지 못하는 상황에서 크리틱이 가치 함수를 어떻게 설계할 수 있는가?
• RQ3 조건부 평균 가치 함수를 사용할 경우 POMDP에서 정책 기울기 추정 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ4 선형 함수 근사 및 TD 학습 기법을 구조화된 컨트롤러를 가진 POMDP의 크리틱 구성 요소에 성공적으로 적용할 수 있는가?
• RQ5 이 방법은 POMDP 환경에서 기존의 액터-오직 방법인 GPOMDP에 비해 우월하거나 일반화 가능한가?

주요 결과

• 제안된 방법은 기존의 액터-오직 접근 방식(예: GPOMDP)의 한계를 극복하고, 구조화된 정책을 가진 POMDP에 대해 액터-크리틱 학습을 성공적으로 확장한다.
• 크리틱이 조건부 평균 가치 함수를 사용함으로써 전체 상태 관측이 없더라도 안정적이고 효율적인 정책 기울기 추정이 가능해진다.
• 표준 TD 및 액터-크리틱 방법의 이론적 기반은 이 구조화된 정책을 가진 POMDP 환경로로 이식 가능하다.
• 유한 상태 컨트롤러에 제한된 반-마르코프 결정 과정에 대해서도 이 방법이 적용 가능하여 적용 범위를 넓힌다.
• UAI 2005 논문 발표록의 실험 결과는 이 방법의 타당성과 벤치마크 POMDP 과제에서의 효과성을 확인한다.
• 이 방법은 가치 함수 근사를 정책 학습 루프에 통합함으로써 GPOMDP에 비해 원리적이고 확장 가능한 대안을 제공한다.