[논문 리뷰] Policy Gradient in Partially Observable Environments: Approximation and Convergence

Kamyar Azizzadenesheli, Yisong Yue외 1명|arXiv (Cornell University)|2018. 10. 18.

Reinforcement Learning in Robotics참고 문헌 41인용 수 10

한 줄 요약

이 논문은 부분 관측 가능 마르코프 결정 과정(POMDP)에 정책 기반 강화 학습 방법을 확장하기 위해 새로운 이점 함수와 이론적 도구를 도입함으로써, 신뢰 영역 최적화(TRPO) 및 프록시 정책 최적화(PPO)를 POMDP로 일반화한다. 할인율이 있는가 없는가에 관계없이 수렴 보장과 최적성 한계를 확립하며, 이론적 엄밀함을 갖춘 채로 실제 부분 관측 환경에서 정책 기반 강화 학습이 효과적으로 적용될 수 있음을 보여준다.

ABSTRACT

Policy gradient is a generic and flexible reinforcement learning approach that generally enjoys simplicity in analysis, implementation, and deployment. In the last few decades, this approach has been extensively advanced for fully observable environments. In this paper, we generalize a variety of these advances to partially observable settings, and similar to the fully observable case, we keep our focus on the class of Markovian policies. We propose a series of technical tools, including a novel notion of advantage function, to develop policy gradient algorithms and study their convergence properties in such environments. Deploying these tools, we generalize a variety of existing theoretical guarantees, such as policy gradient and convergence theorems, to partially observable domains, those which also could be carried to more settings of interest. This study also sheds light on the understanding of policy gradient approaches in real-world applications which tend to be partially observable.

연구 동기 및 목표

• 기존에 완전 관측 가능한 MDP에 국한되어 있던 정책 기반 강화 학습 방법을 이론적 보장을 갖춘 부분 관측 가능한 환경(POMDP)으로 확장하기 위해.
• POMDP에 특화된 새로운 이점 함수 개념을 개발하여 안정적이고 효율적인 정책 최적화를 가능하게 하기 위해.
• TRPO 및 PPO와 같은 고급 정책 기반 강화 학습 알고리즘을 부분 관측 가능성 상황에서도 유지하면서 계산 가능성과 수렴 성질을 보존할 수 있도록 일반화하기 위해.
• 할인율이 있는가 없는가에 관계없이, 에피소드 기반 POMDP에서 정책 기반 강화 학습의 수렴성과 최적성 분석을 제공하기 위해.
• 로봇 공학, 내비게이션 및 자율 시스템 분야의 실제 부분 관측 응용과 완전 관측 가능한 MDP 이론 간의 이론적 격차를 메우기 위해.

제안 방법

• 미래 관측값 의존성을 반영한 새로운 이점 함수를 POMDP에 도입하여 더 나은 기울기 추정을 가능하게 한다.
• 정책의 부분 관측성으로 인한 MDP와 POMDP 행동 간의 이질성 정도를 측정하는 이점 갭 $\overline{\epsilon}$ 을 도입한다.
• 정책이 유도하는 측도에 대한 궤적의 기대값으로서 기대 수익의 기울기를 표현함으로써 POMDP에서 정책 기반 강화 학습의 기울기 정리(gradient theorem)를 적용한다.
• Pinsker의 부등식과 KL 발산의 경계를 활용하여 정책 갱신 거리와 성능 변화 간의 관계를 설정함으로써 수렴 분석을 가능하게 한다.
• 부분 관측 가능성 상황에서도 신뢰 영역 및 클리핑 메커니즘을 유지하면서 TRPO와 PPO를 POMDP로 일반화한 GTRPO 및 GPPO 알고리즘을 제안한다.
• Fubini의 정리와 궤적 기반 분해를 활용하여 진정한 성능과 서면 목표 함수 간의 차이를 경계함으로써 이론적 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 정책 기반 강화 학습 방법이 수렴성 및 최적성 보장을 유지하면서 부분 관측 가능한 환경로로 이론적으로 확장될 수 있는가?
• RQ2 부분 관측 가능성은 POMDP에서 진정한 정책 기울기와 그 서면 목표 함수 간의 성능 격차에 어떻게 영향을 미치는가?
• RQ3 미래 관측값을 고려한 POMDP에서 안정적인 학습을 가능하게 하는 적절한 이점 함수의 일반화 형태는 무엇인가?
• RQ4 신뢰 영역 및 클리핑된 정책 최적화 방법은 계산 가능성을 잃지 않고 POMDP에 어떻게 적용될 수 있는가?
• RQ5 제안된 프레임워크 하에서 KL 발산과 총 변동 거리 경계는 POMDP에서 정책 향상과 어떻게 관련이 있는가?

주요 결과

• 논문은 진정한 정책 기울기와 그 서면 목표 함수 간의 성능 격차가 이점 갭 $\overline{\epsilon}$ 과 정책 궤적 간 KL 발산에 의해 경계됨을 입증한다.
• 일반화된 TRPO(GTRPO) 및 PPO(GPPO) 알고리즘은 POMDP에서 계산 가능하며 수렴 보장을 유지한다.
• 완전 관측 가능한 MDP에서는 이점 갭 $\overline{\epsilon}$ 가 사라지므로, 이는 기존 MDP 이론과의 일관성을 보여준다.
• 이론적 경계는 궤적 기반 KL 발산 기준으로 정책 갱신이 작을 경우 정책 향상이 보장됨을 보여주며, 부분 관측 환경에서도 성립한다.
• 할인율이 있는가 없는가에 관계없이 수렴 분석이 가능하므로, 실제 작업에 대한 적용 범위가 넓어진다.
• 제안된 도구들은 고급 딥 강화 학습 알고리즘을 POMDP로 일반화할 수 있게 하며, 복잡한 실제 환경에서 강력한 정책 학습의 기반을 마련한다.