[논문 리뷰] Experimental results : Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric외 1명|arXiv (Cornell University)|2017. 05. 07.

Machine Learning and ELM참고 문헌 21인용 수 4

한 줄 요약

이 논문은 스펙트럼 방법을 사용해 환경 파라미터를 추정하고, 회귀를 최소화하기 위한 낙관적 탐색 전략을 사용하는 POMDPs를 위한 강화학습 알고리즘인 SM-UCRL을 제안한다. 이 알고리즘은 최적의 기억 없는 정책에 대해 순서 최적의 회귀를 달성하며, 부분 관측 환경에서 샘플 효율성과 장기 보상 측면에서 DQN을 능가한다.

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through epochs, in each epoch we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the epoch, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

연구 동기 및 목표

• 완전한 상태 관측이 없는 부분 관측 마르코프 결정 과정(POMDPs)에서 강화학습을 수행할 때 발생하는 과제를 해결하기 위해, 관측이 비마르코프적일 경우 표준 MDP 기반 방법이 실패하는 문제를 다루기 위함.
• 상호작용 데이터로부터 얻은 모멘트 텐서의 스펙트럼 분해를 통해 POMDP 파라미터를 일관되게 추정하는 모델 기반 강화학습 알고리즘을 개발하기 위함.
• 스펙트럼 파라미터 추정과 탐색-이용 전략을 통합하여, 특히 최적의 기억 없는 정책에 대해 유한한 회귀를 달성하기 위함.
• 관측이 마르코프 성질을 갖지 않는 환경에서 모델 자유형 딥 Q러닝(DQN)에 비해 뛰어난 성능을 실험적으로 입증하기 위함.
• 스펙트럼 방법을 사용한 POMDP 학습에 대해 최소 최대 최적의 회귀 경계를 포함한 이론적 보장을 제공하기 위함.

제안 방법

• 알고리즘은 에포크 단위로 동작하며, 고정된 정책 하에서 트레이젝터리를 수집한 후 모델을 갱신한다.
• empirical 모멘트 텐서(전이, 관측, 보상)의 스펙트럼 분해를 적용하여 POMDP 파라미터를 일관되게 추정한다.
• 집중 부등식을 사용해 추정된 파라미터 주위에 신뢰구간을 구성하여 낙관적 계획을 가능하게 한다.
• 최적의 기억 없는 정책을 추정된 POMDP 모델과 신뢰구간 기반으로 계산하기 위한 최적화 오라클을 활용하여 고보상 영역의 탐색을 보장한다.
• MDP의 UCRL에 영감을 받은 탐색 전략은 불확실성에 대한 낙관주의와 스펙트럼 파라미터 추정을 균형 있게 조화시킨다.
• 정책 선택의 확률적 성격을 제어하기 위해 파rameter X를 조정하여 충분한 탐색을 보장한다.

실험 결과

연구 질문

• RQ1 상태가 직접 관측되지 않는 POMDP 환경에서 스펙트럼 방법을 모델 기반 강화학습에 효과적으로 적용할 수 있는가?
• RQ2 스펙트럼 파라미터 추정과 낙관적 탐색 전략을 결합하면 POMDP에서 증명 가능한 유한한 회귀를 달성할 수 있는가?
• RQ3 관측 공간이 비마르코프적일 때, 제안된 SM-UCRL 알고리즘의 성능은 관측되지 않는 환경에서 딥 Q러닝(DQN)에 비해 어떻게 비교되는가?
• RQ4 스펙트럼 학습을 통한 모델 기반 접근은 모델 자유형 방법에 비해 POMDP에서 더 빠른 수렴과 더 높은 장기 보상을 달성할 수 있는가?
• RQ5 SM-UCRL 알고리즘의 회귀는 POMDP에서 최적의 기억 없는 정책에 대해 순서 최적인가?

주요 결과

• SM-UCRL은 관측 및 행동 공간의 차원에 대해 효율적인 스케일링을 보이며, 최적의 기억 없는 정책에 대해 순서 최적의 회귀를 달성한다.
• 단일 상자 관측 환경에서 SM-UCRL는 DQN보다 더 빠르게 수렴하고 더 높은 장기 평균 보상을 달성한다. DQN은 종종 국소 최적점에 갇히는 경향이 있다.
• 64개의 관측을 가진 삼중 상자 관측 환경에서 SM-UCRL는 DQN을 다시 한 번 능가한다. 이는 DQN이 레이어당 30개의 히든 유닛을 사용하더라도 마찬가지다.
• 정확한 파라미터 추정이 어려운 초기 학습 단계에서도 SM-UCRL는 합리적이고 확률적인 정책을 생성하여 모델 불확실성에 대한 강건성을 보여준다.
• 벽을 피하고 보상을 극대화하기 위해 이동 방향(예: 좌/우, 상/하)의 균형을 유지함으로써 효과적인 탐색을 수행한다.
• 성능 향상의 이유는 POMDP의 구조를 통해 기억을 정확히 모델링한 데 기인하며, 반면 DQN은 관측에 기반한 비마르코프적 Q함수를 학습하여 일반화 능력이 떨어진다.