[논문 리뷰] Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric외 1명|arXiv (Cornell University)|2016. 02. 25.

Reinforcement Learning in Robotics참고 문헌 28인용 수 7

한 줄 요약

이 논문은 스펙트럴 방법을 활용한 일致한 매개변수 추정과 상한 신뢰 탐색 전략을 결합한 강화학습 알고리즘인 SM-UCRL을 제안한다. 이 알고리즘은 순서 최적의 리그레트를 달성하고 관측 및 행동 공간 차원에 대해 효율적인 스케일링을 보이며, 메모리 없는 계획 오라클 가정 하에 광범위한 POMDP 클래스에 대해 증명 가능하게 효율적인 첫 번째 강화학습 알고리즘이다.

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through episodes, in each episode we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the episode, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

연구 동기 및 목표

• 진정한 상태가 은닉되어 있고 오직 노이즈가 섞인 관측치만 제공되는 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)에서의 학습에 도전하는 것.
• 은닉 상태 구조와 부분적 관측 가능성에도 불구하고 강력한 리그레트 보장을 보장하는 강화학습 알고리즘을 개발하는 것.
• POMDP 매개변수의 일致된 추정을 위한 스펙트럴 분해와 MDP의 UCRL에 영감을 받은 탐색-이용 전략을 통합하는 것.
• 메모리 없는 정책을 위한 최적화 오라클에 접근 가능하다는 가정 하에 순서 최적의 리그레트 경계를 증명하는 것.
• 관측 및 행동 공간의 차원에 대해 증명 가능하게 샘플 효율적인 방식으로 효율적인 스케일링을 달성하는 것.

제안 방법

• 알고리즘은 궤적에서 계산된 모멘트 텐서의 스펙트럴 분해를 사용하여 POMDP 매개변수(전이, 관측, 보상 모델)를 일관되고 통계적으로 효율적인 방식으로 추정한다.
• 에피소드 단위로 작동하며, 고정된 정책 하에 데이터를 수집하여 스펙트럴 추정에 필요한 충분한 통계량을 확보할 때까지 진행한다.
• 각 에피소드의 끝에서, 추정된 POMDP 모델 기반으로 최적의 메모리 없는 정책을 최적화 오라클이 계산한다.
• 탐색 전략은 상한 신뢰 구간(UCRL 방식)에 기반하며, 스펙트럴 추정 오차 경계에서 유도된 신뢰 구간을 사용하여 탐색과 이용을 균형 잡는다.
• 백색화 해제 및 텐서 분해 기법을 활용하여 관측 데이터로부터 은닉 상태 분포와 모델 매개변수를 복원한다.
• 이론적 분석은 농도 불등식과 행렬 페르터베이션 경계를 활용하여 추정 오차를 통제하고 리그레트 보장을 유도한다.

실험 결과

연구 질문

• RQ1 스펙트럴 방법이 에이전트가 능동적으로 상호작용하고 데이터 분포를 변화시키는 POMDP 환경에서 강화학습에 효과적으로 적용될 수 있는가?
• RQ2 스펙트럴 추정과 상한 신뢰 탐색을 조합한 학습 알고리즘이 POMDP에서 달성할 수 있는 리그레트 경계는 무엇인가?
• RQ3 관측 및 행동 공간의 차원에 비례하여 알고리즘의 리그레트 및 샘플 복잡도는 어떻게 스케일링되는가?
• RQ4 메모리 없는 정책 계획 오라클 가정 하에 POMDP에서 순서 최적의 리그레트를 달성할 수 있는가?
• RQ5 계획이 연속적인 믿음 공간에서 비효율적일 경우 최적화 오라클은 효율적인 학습을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 SM-UCRL 알고리즘은 POMDP에서 최적의 메모리 없는 정책에 대해 순서 최적의 리그레트를 달성한다.
• 리그레트 경계는 관측 및 행동 공간의 차원에 대해 효율적으로 스케일링되어 실용적인 타당성을 보장한다.
• 스펙트럴 방법은 은닉 상태 구조가 존재하는 관측 데이터로부터 POMDP 매개변수의 일관된 추정을 가능하게 한다.
• 적절한 표본 크기 하에서, 은닉 상태 분포의 추정 오차는 $ ig\| oldsymbol{ u}_i - oldsymbol{ u}_i^{ ext{est}} ig floor_2 ightarrow 0 $ 로 높은 확률로 유계가 된다.
• 알고리즘은 $ O( ext{polylog}(T) imes ext{poly}(X,Y,A)) $ 의 순서 리그레트 경계를 달성한다. 여기서 $ X, Y, A $ 는 상태 수, 관측 수, 행동 수를 의미한다.
• 이론적 분석은 스펙트럴 추정 오차가 농도 경계와 행렬 페르터베이션 이론을 통해 통제되며, 탐색을 위한 날카운 신뢰 구간을 도출함을 확인한다.