[논문 리뷰] Reinforcement Learning in Rich-Observation MDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric외 1명|arXiv (Cornell University)|2016. 11. 11.

Reinforcement Learning in Robotics참고 문헌 30인용 수 12

한 줄 요약

이 논문은 높은 차원의 관측값을 가진 Rich-Observation MDPs(ROMDPs)를 위한 강화학습 알고리즘인 SL-UCRL을 제안한다. 이 알고리즘은 스펙트럼 분해를 사용하여 고차원 관측값에서 저차원의 은닉 상태 공간으로의 단사 사상(surjective mapping)을 학습한다. 관측값을 은닉 상태로 군집화하고 추정된 은닉 MDP에 대해 UCRL을 적용함으로써, 알고리즘은 점점 더 정확한 결과를 얻으며 오라클 UCRL 알고리즘과 점점 더 유사한 점수를 기록한다. 이는 관측 공간 크기와는 무관하게 은닉 상태 수에 비례하여 점수의 증가가 발생함을 의미한다.

ABSTRACT

Reinforcement learning (RL) in Markov decision processes (MDPs) with large state spaces is a challenging problem. The performance of standard RL algorithms degrades drastically with the dimensionality of state space. However, in practice, these large MDPs typically incorporate a latent or hidden low-dimensional structure. In this paper, we study the setting of rich-observation Markov decision processes (ROMDP), where there are a small number of hidden states which possess an injective mapping to the observation states. In other words, every observation state is generated through a single hidden state, and this mapping is unknown a priori. We introduce a spectral decomposition method that consistently learns this mapping, and more importantly, achieves it with low regret. The estimated mapping is integrated into an optimistic RL algorithm (UCRL), which operates on the estimated hidden space. We derive finite-time regret bounds for our algorithm with a weak dependence on the dimensionality of the observed space. In fact, our algorithm asymptotically achieves the same average regret as the oracle UCRL algorithm, which has the knowledge of the mapping from hidden to observed spaces. Thus, we derive an efficient spectral RL algorithm for ROMDPs.

연구 동기 및 목표

• 큰 상태 공간과 고차원 관측값을 가진 환경에서 기존 강화학습 알고리즘의 높은 점수 문제를 해결하기 위해.
• 큰 관측 MDP에서 저차원의 은닉 구조를 활용하여 학습 효율성과 점수 경계를 향상시키기 위해.
• 은닉 상태 사상에 대한 사전 지식 없이도 관측값에서 은닉 상태 사상을 학습할 수 있는 방법을 개발하기 위해.
• 스펙트럼 군집화를 확장 가능한 강화학습 프레임워크(UCRL)에 통합하여 점수 보장을 유지하기 위해.
• 점수의 증가가 관측 수가 아닌 은닉 상태 수에 비례하도록 하여, 점점 더 오라클 경우에 가까운 성능을 달성하기 위해.

제안 방법

• 관측 트레이젝터리에 기반한 텐서 기반 스펙트럼 분해를 사용하여 관측값에서 은닉 상태로의 사상을 추정한다.
• Anandkumar 등(2014)의 스펙트럼 군집화 방법을 적용하여 높은 확률로 은닉 상태에 해당하는 군집을 식별한다.
• 추정된 은닉 상태 기반의 보조 MDP를 구성하고, UCRL을 사용하여 탐색과 이용의 균형을 확보한다.
• Hoeffding 유형 부등식을 기반으로 한 신뢰 구간을 사용하여 보조 MDP 내 전이 확률 추정의 정확성을 보장한다.
• 에포크 기반 학습을 통해 수집된 샘플을 바탕으로 주기적으로 사상을 업데이트함으로써 군집 정확도를 점차 향상시킨다.
• 추정된 은닉 상태 공간을 UCRL에 통합함으로써 계산 복잡도를 관측 공간 크기 Y와 은닉 상태 수 X에 대해 O(Y³)에서 O(X³)로 감소시킨다.

실험 결과

연구 질문

• RQ1 미리 알려지지 않은 단사 사상이 존재하는 큰 관측 MDP에서 스펙트럼 방법이 은닉 상태 구조를 신뢰성 있게 복원할 수 있는가?
• RQ2 추정된 은닉 상태 공간에서 학습을 수행할 경우, 은닉 구조를 완전히 알고 있는 오라클 알고리즘과 유사한 점수를 기록할 수 있는가?
• RQ3 관측 공간 크기 Y에 대해 약한 의존도만을 가지며 낮은 점수를 기록할 수 있는가?
• RQ4 점수의 증가가 은닉 상태 수 X와 시간 영역 N에 따라 어떻게 변화하는가?
• RQ5 군집 정확도가 전체 학습 성능과 점수에 미치는 영향은 어떠한가?

주요 결과

• SL-UCRL 알고리즘은 점점 더 오라클 UCRL 알고리즘과 유사한 점수 경계를 달성한다. 이는 은닉 상태 사상에 대한 완전한 지식이 있는 오라클 알고리즘과 점점 더 유사한 성능을 기록한다는 것을 의미한다.
• SL-UCRL의 점수는 관측 공간 크기 Y에 의존하지 않고 은닉 상태 수 X에만 의존하므로, 확장성 측면에서 크게 향상된다.
• 군집 정확도가 향상됨에 따라 알고리즘의 시간 및 공간 복잡도는 O(Y³)에서 O(X³)로 감소하며, 이는 보조 MDP의 크기 감소로 이어진다.
• 정확한 군집을 학습하는 데 필요한 스텝 수는 유한하며 시간 영역 N에 따라 증가하지 않으며, 이는 군집 단계 동안 일정한 점수를 기록한다는 것을 의미한다.
• 실험 결과, 진정한 은닉 구조가 없는 무작위 MDP에서도 SL-UCRL은 UCRL과 DQN보다 점수와 내성적 안정성 측면에서 뛰어난 성능을 보였다.
• 실제로 진정한 은닉 구조가 없더라도 스펙트럼 방법의 잠재적 군집 탐지 능력 덕분에 알고리즘이 근사적인 군집을 성공적으로 식별할 수 있었다.