[논문 리뷰] Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes

Guido Montúfar, Keyan Ghazi-Zahedi외 1명|arXiv (Cornell University)|2015. 03. 24.

Reinforcement Learning in Robotics참고 문헌 22인용 수 8

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)에서 기억 없는 스토케스틱 정책을 최적화하기 위한 기하학적 프레임워크를 제안한다. 이 프레임워크는 모든 POMDP가 보상 구조와는 무관하게, 인식의 오해( perceptual aliasing)에 의해 제한되는 제한된 확률성을 가진 최적 정책를 갖는다는 것을 증명한다. 제약 조건이 부여된 선형 최적화 문제 내에서 정책를 저차원 다양체로 모델링함으로써, 최적성 보장을 갖는 더 빠르고 안정적인 정책 그래디언트 학습이 가능해진다.

ABSTRACT

It is well known that for any finite state Markov decision process (MDP) there is a memoryless deterministic policy that maximizes the expected reward. For partially observable Markov decision processes (POMDPs), optimal memoryless policies are generally stochastic. We study the expected reward optimization problem over the set of memoryless stochastic policies. We formulate this as a constrained linear optimization problem and develop a corresponding geometric framework. We show that any POMDP has an optimal memoryless policy of limited stochasticity, which allows us to reduce the dimensionality of the search space. Experiments demonstrate that this approach enables better and faster convergence of the policy gradient on the evaluated systems.

연구 동기 및 목표

• 메모리가 필요하고 계산적으로 비현실적인 일반 최적 정책을 요구하는 고차원적이고 스토케스틱인 정책 공간 문제를 다루기.
• 기억 없는 스토케스틱 정책 하에서 세계 상태와 행동의 정적 연합 분포 집합을 분석하기 위한 기하학적 프레임워크 개발.
• 차원 축소를 가능하게 하면서도 최적성 보장을 유지할 수 있는 POMDP 정책 최적화의 구조적 제약 조건 규명.
• 최적의 정적 정책를 포함함이 보장된 저차원, 미분 가능한 정책 모델 설계로 학습 효율성과 수렴성 향상.
• 경험적으로, 복잡도가 낮은 모델이 더 높은 차원 또는 지나치게 단순한 모델보다 학습 속도와 성능에서 뛰어남을 입증.

제안 방법

• 세계 상태와 행동의 정적 연합 분포에 대한 제약 조건이 부여된 선형 최적화 문제로 평균 보상 최대화 문제를 공식화.
• 부분적 관찰성과 정적 조건에 기반한 볼록 다면체의 합집합으로 타당 정책 공간을 모델링.
• 타당 집합의 기하학적 분해를 통해, 인식의 오해 상태 수에 의해 측정되는 제한된 확률성을 가진 최적 정책의 존재를 증명.
• 제어된 확률성을 가진 정책를 매개변수화하기 위해 k-상호작용 지수 가족 또는 제한된 볼츠만 머신을 사용하여 저차원 정책 모델 구축.
• 고정 학습률과 시간 창 기반 보상 추정을 사용하여, GPOMDP 알고리즘과 함께 확률적 그래디언트 상승법을 적용해 이러한 모델을 훈련.
• 관련 충분 통계(예: 센서 상태와 행동의 쌍)만 선택하여 파arameter 공간을 축소함으로써 효율적인 샘플링과 최적화를 가능하게 함.

실험 결과

연구 질문

• RQ1 POMDP에서 최적의 기억 없는 정책가 필요로 하는 최소한의 확률성은 무엇이며, 이는 보상 함수와 독립적으로 유계가 될 수 있는가?
• RQ2 POMDP에서 정적 연합 분포의 타당 집합은 어떻게 기하학적으로 분해될 수 있으며, 이는 최적 정책 공간의 구조를 드러내는가?
• RQ3 최적의 정적 정책를 포함함이 보장된 저차원 정책 모델을 구성할 수 있으며, 이는 학습 성능에 어떤 영향을 미치는가?
• RQ4 최적성 보장을 유지하면서 정책 모델의 복잡도를 줄이면, 정책 그래디언트 강화 학습에서 수렴 속도 향상과 더불어 강건성 향상이 이루어지는가?
• RQ5 제한된 계산 자원을 가진 POMDP의 정책 최적화에서, 모델의 표현력과 학습 안정성 사이의 상충 관계는 무엇인가?

주요 결과

• 모든 POMDP는 보상 함수와는 무관하게, 세계 상태에 대해 모호한 센서 상태 수에 의해 제한되는 제한된 확률성을 가진 최적의 기억 없는 스토케스틱 정책를 갖는다.
• POMDP에서 정적 연합 분포의 타당 집합은 볼록 조각들로 분해될 수 있으며, 최적 정책는 이러한 조각들의 극단점에 위치해 있어 기하학적 분석이 가능하다.
• 모험 테스트에서 k=3인 k-상호작용 모델이 k=1,2(간단한 모델)와 k=4,5(복잡한 모델)를 모두 능가하여 학습 속도와 최종 보상에서 최고의 성능을 보였다.
• k=3인 모델은 23개의 파라미터를 가지며, 거의 최적의 성능를 달성했으며, 이는 최적 정책를 표현할 수 있는 최소한의 복잡도를 가진 모델이 가장 빨리 학습되고 그래디언트 노이즈에 덜 민감하다는 것을 시사한다.
• 확률성의 유계 조건을 통해 정책 모델의 차원을 축소함으로써, 최적성 손실 없이도 정책 그래디언트 학습에서 수렴 속도 향상과 강건성 향상이 이루어졌다.
• 제한된 볼츠만 머신과 k-상호작용 모델의 사용은 최적 정책를 포함하는 저차원 정책 다양체의 효율적 샘플링과 매개변수화를 가능하게 하였다.