[논문 리뷰] Gradient-based Reinforcement Planning in Policy-Search Methods

Ivo Kwee, Marcus Hütter외 1명|ArXiv.org|2001. 11. 28.

Reinforcement Learning in Robotics참고 문헌 8인용 수 8

한 줄 요약

이 논문은 환경 모델을 사용하여 향후 상태를 고려한 기울기 기반 계획을 통해 정책을 향상시키는 새로운 정책 탐색 방법인 기울기 기반 강화 학습 계획(GREP)을 소개한다. 기대 상태 점유도와 보상 최대화를 통해 정확한 정책 기울기를 유도함으로써, 행동을 취하기 이전에 전역적 정책 최적화를 가능하게 한다. 수치적 결과는 최적의 정책으로 수렴함을 보여주지만, 특히 작은 MDP에서 느리게 수렴함을 확인한다.

ABSTRACT

We introduce a learning method called ``gradient-based reinforcement planning'' (GREP). Unlike traditional DP methods that improve their policy backwards in time, GREP is a gradient-based method that plans ahead and improves its policy before it actually acts in the environment. We derive formulas for the exact policy gradient that maximizes the expected future reward and confirm our ideas with numerical experiments.

연구 동기 및 목표

• 행동 이전에 환경 모델을 사용한 계획을 수행하는 정책 기울기 방법을 개발한다. 이는 뒤로 향하는 가치 반복에 의존하지 않는다.
• 기대 향후 보상을 최대화하는 정확한 분석적 표현을 유도한다.
• 기존의 뒤로 향하는 동적 프rogramming과 대비하여, 전방 시뮬레이션을 통한 전역적 정책 향상 기능을 제공한다.
• 부분 관측 가능한 환경(POMDP) 및 대규모 강화 학습에의 잠재적 응용을 위해 온라인 모델 학습과 계획을 통합한다.
• 소규모 MDP 환경에서의 수렴성과 성능을 평가하고, 탐욕적 및 냉각 기반 기준과 비교한다.

제안 방법

• GREP는 정책에 의해 유도된 상태 전이를 모델링하기 위해 투영 행렬 $\mathbf{F}$를 사용한다. 이는 $F_{ji} = \sum_k T_{kji} P_{ki}$로 정의되며, 여기서 $T_{kji}$는 환경 전이 확률이고 $P_{ki}$는 정책 파라미터이다.
• 기대 상태 점유도 $\mathbf{z}$는 $\mathbf{z} = (\mathbf{I} - \gamma \mathbf{F})^{-1} \mathbf{s}_0$로 계산되며, 이는 정책 하에서의 할인된 상태 방문 빈도를 나타낸다.
• 기대 향후 보상 $H = \langle \mathbf{r}, \mathbf{z} \rangle$는 기울기 기반 최적화를 통해 최대화되며, 정책 기울기는 $\nabla_{\mathbf{P}} H = \sum_k \mathbf{F}_k^T \mathbf{q} \mathbf{s}_t^T$로 유도된다. 여기서 $\mathbf{q}$는 향후 보상의 연역 벡터이다.
• 이 방법은 관측된 전이를 통해 $\mathbf{T}_k$와 $\mathbf{F}_k$를 온라인으로 업데이트함으로써 계획(기울기 갱신)과 행동 선택, 환경 모델 학습을 번갈아 수행한다.
• 상태 및 관측 불확실성을 다루기 위해 칼만 유사 추정 프레임워크를 제안하며, 별도의 정밀도 행렬 $\mathbf{H}_s$와 $\mathbf{H}_y$를 사용한다.
• 유도된 기울기를 사용하여 정책 파라미터를 갱신하며, 봄베르트와 같은 재매개변수화 기법을 지원하여 수렴성을 향상시키지만, 본 연구에서는 이를 탐색하지는 않는다.

실험 결과

연구 질문

• RQ1 기울기 기반 정책 최적화를 전방 시뮬레이션 계획과 효과적으로 융합하여 정책 수렴성을 향상시킬 수 있는가?
• RQ2 기본 모델 기반 전방 계획 접근 방식이 기존의 뒤로 향하는 동적 프로그래밍과 비교하여 정책 탐색에서 어떤가?
• RQ3 다른 할인 인자 $\gamma_z$와 $\gamma_q$는 정책 기울기 갱신의 성능과 행동에 어떤 영향을 미치는가?
• RQ4 GREP는 부분 관측 환경에서 온라인 모델 학습과 효과적으로 통합될 수 있는가?
• RQ5 소규모 MDP에서 GREP의 성능은 탐욕적 또는 냉각 전략과 비교해 어떻게 되는가?

주요 결과

• GREP는 기대 상태 점유도와 연역 보상 전파를 사용하여 정확한 정책 기울기를 성공적으로 도출하여 전역적 정책 향상을 가능하게 한다.
• 수치 실험 결과, 확률적 정책가 최적 정책으로 수렴함을 확인했지만, 수렴 속도는 비교적 느리다.
• 테스트용 MDP 예제에서는 GREP의 전역 기울기 갱신보다 냉각 또는 탐욕적 행동 선택이 더 빨리 최적 해에 도달했다.
• 상태 점유도($\gamma_z$)와 보상 연역($\gamma_q$)에 대해 별도의 할인을 적용할 수 있어, 적응형 계획 수평의 잠재적 가능성을 시사한다.
• GREP와 칼만 유사 추정의 통합은 상태 및 관측 불확실성을 다룰 수 있게 하여 POMDP 유사 환경에의 적용 가능성을 제공한다.
• 더 큰 문제에서는 $\mathbf{z}$와 $\mathbf{q}$에 대한 해석적 해가 불가능해지므로, 몬테카를로 또는 동적 프로그래밍 근사가 필요하다.