[논문 리뷰] Reinforcement Learning in POMDP's via Direct Gradient Ascent

Jonathan Baxter, Peter L. Bartlett|ArXiv.org|2025. 12. 02.

Reinforcement Learning in Robotics참고 문헌 27인용 수 88

한 줄 요약

논문은 단일 샘플 경로를 사용하는 평균 보상을 위한 REINFORCE와 유사한 그래디언트 추정기 GPOMDP를 소개하고, 그래디언트 기반 최적화를 위한 CONJPOMDP를 제시하며 수렴성과 토이 실험에서의 결과를 보인다.

ABSTRACT

This paper discusses theoretical and experimental aspects of gradient-based approaches to the direct optimization of policy performance in controlled POMDPs. We introduce GPOMDP, a REINFORCE-like algorithm for estimating an approximation to the gradient of the average reward as a function of the parameters of a stochastic policy. The algorithm's chief advantages are that it requires only a single sample path of the underlying Markov chain, it uses only one free parameter $β\in [0,1)$, which has a natural interpretation in terms of bias-variance trade-off, and it requires no knowledge of the underlying state. We prove convergence of GPOMDP and show how the gradient estimates produced by GPOMDP can be used in a conjugate-gradient procedure to find local optima of the average reward.

연구 동기 및 목표

• 부분 관측 환경(POMDP)에서 정책 성능의 그래디언트 기반 직접 최적화를 동기화하고 연구한다.
• 최소한의 상태 정보와 단일 샘플 경로를 필요로 하는 실용적인 그래디언트 추정기를 개발한다.
• 평균 보상의 국소 최적점을 찾기 위한 공액-그래디언트 기반 최적화 절차를 제공한다.
• 제안된 방법의 수렴 특성을 확립하고 실험으로 검증한다.

제안 방법

• 목표를 POMDP에서 매개변수화된 확률 정책의 장기 평균 보상 η(θ)의 최대화로 정의한다.
• 지수적 할인 값 Jβ와 극한 기울기 ∇βη를 통해 계산 가능한 추정기로 이어지는 η(θ)의 그래디언트 분해를 도출한다.
• GPOMDP를 도입하여 단일 궤적에서 zt와 온라인 평균 Δt의 재귀를 이용해 ∇βη(θ)를 추정하고 β∈[0,1)를 설정한다.
• ∇βη(θ)가 β→1일 때 ∇η(θ)로 수렴하며 바이어스는 마르코프 사슬의 섞임 시간(τ*)과 연관됨을 보인다.
• 노이즈가 있거나 편향된 그래디언트 추정치를 사용하는 GSEARCH 선 탐색을 포함하는 CONJPOMDP를 제안하여 그래디언트 기반 최적화를 수행한다.
• GPOMDP의 그래디언트 추정과 편향-분산 트레이드오프, 그리고 정책 학습을 설명하기 위해 3상 MDP를 사용한 토이 실험을 제시한다.

실험 결과

연구 질문

• RQ1 POMDP에서 하나의 샘플 경로만으로 정책 매개변수에 대한 평균 보상의 그래디언트를 추정할 수 있는가?
• RQ2 그래디언트 추정치(GPOMDP)에서 할인 요소 β가 바이어스와 분산 간의 균형을 어떻게 조절하는가?
• RQ3 GPOMDP를 통한 그래디언트 기반 방법을 CONJPOMDP의 공액-그래디언트 최적화와 함께 사용하여 POMDP에서 로컬 최적 정책을 효과적으로 찾을 수 있는가?
• RQ4 GPOMDP와 CONJPOMDP를 적용할 때 간단한 토이 POMDP에서 얻어지는 바이어스-분산 트레이드오프와 수렴 특성은 어떤 모습인가?

주요 결과

• GPOMDP는 하나의 샘플 경로만 필요로 하고 정책 매개변수의 수 K에 대해 2K개의 수를 저장하는 평균 보상에 대한 REINFORCE 유사 그래디언트 추정치를 제공한다.
• β→1일 때 ∇βη가 ∇η로 수렴하며 바이어스의 상한은 마르코프 사슬의 섞임 시간(τ*)에 의해 확장된다.
• β에 의해 제어되는 본질적인 바이어스-분산 트레이드오프가 있다: β가 큰 경우 바이어스는 줄어들지만 분산은 증가하고, β가 더 작으면 분산은 줄어들지만 바이어스는 증가한다.
• CONJPOMDP는 노이즈가 있거나 편향된 그래디언트 추정치를 이용해도 강건하게 최적화를 수행하도록 그래디언트 기반 선 탐색을 활용하며, 정확한 가치 추정에 의존하지 않는다.
• 3상 MDP 토이 실험에서 GPOMDP/CONJPOMDP 학습이 근사적으로 최적에 가까운 성능을 달성하여 직접 정책 최적화를 위한 방법의 타당성을 보여준다.