[논문 리뷰] Provably efficient RL with Rich Observations via Latent State Decoding

Simon S. Du, Akshay Krishnamurthy외 4명|arXiv (Cornell University)|2019. 01. 25.

Machine Learning and Algorithms인용 수 58

한 줄 요약

관측치를 잠재 상태로 명시적으로 디코딩하고 유한 샘플 보장을 갖춘 탐색 정책 커버를 구성함으로써 풍부한 관측을 갖는 MDP에 대해 증명 가능한 샘플 효율적 강화학습(RL) 접근법을 제안한다. 이 방법은 역방향 확률 벡터와 귀납적 디코딩을 활용하여 잠재 상태 탐색 문제를 실질적으로 다룰 수 있게 한다.

ABSTRACT

We study the exploration problem in episodic MDPs with rich observations generated from a small number of latent states. Under certain identifiability assumptions, we demonstrate how to estimate a mapping from the observations to latent states inductively through a sequence of regression and clustering steps -- where previously decoded latent states provide labels for later regression problems -- and use it to construct good exploration policies. We provide finite-sample guarantees on the quality of the learned state decoding function and exploration policies, and complement our theory with an empirical evaluation on a class of hard exploration problems. Our method exponentially improves over $Q$-learning with naïve exploration, even when $Q$-learning has cheating access to latent states.

연구 동기 및 목표

• 작은 잠재 상태 공간으로부터 방출되는 풍부한 관측을 가진 에피소드형 MDP에서 탐색의 필요성과 해결책을 제시한다.
• 전체 관측 공간에 의존하지 않고 효율적인 탐색을 가능하게 하는 실용적인 잠재 상태 디코딩 접근법을 도입한다.
• 디코딩 정확도와 탐색 정책의 질에 대한 유한 샘플 보장을 제공한다.
• 단순한 기준선을 넘어선 어려운 문제에서 강력한 탐색 성능을 보여주는 경험적 검증을 제시한다.

제안 방법

• 잠재 상태, 관찰 가능한 맥락(context), 그리고 전이를 포착하는 블록 마코프 결정 과정(BMDP)을 형식화한다.
• 맥락과 잠재 상태를 Δ_MK의 g(x)와 φ(s)로 공유 저차원 공간에 임베딩하고, 디코딩 함수 클래스에 대한 실현 가능성 가정 하에 수행한다.
• 잠재 상태를 나타내기 위해 역방향 확률 벡터 bν(s′)를 사용하고, 이 벡터를 통해 잠재 상태를 구분하는 γ-분리성을 확립한다.
• ERM 오라클을 통해 일련의 최소제곱 문제를 해결하여 맥락 임베딩을 학습하고 디코딩 함수를 도출한다.
• 임베딩 벡터를 클러스터링하여 잠재 상태 블록을 식별하고 발견된 잠재 상태에 맥락을 매핑하는 디코딩 맵 f̂를 정의한다.
• 전이 확률을 추정하고 다이나믹 프로그래밍을 적용하여 목표 잠재 상태에 도달하는 ε-정책 커버를 구성한다.
• 수준별로 순회(iterate)하며( h = 2, …, H+1 ) 잠재 상태 집합, 임베딩, 전이 추정치 및 정책 집합을 구축하고, 보장된 커버리지와 정확도 상한을 보장한다.

실험 결과

연구 질문

• RQ1 관리 가능한 분리성 조건하에서 풍부한 관측을 효과적으로 작은 잠재 상태 공간으로 디코딩할 수 있는가?
• RQ2 풍부한 관측을 갖는 BMDP에서 디코딩 정확도와 결과로 얻어지는 정책 커버에 대한 유한 샘플 보장은 무엇인가?
• RQ3 역방향 조건부 확률을 회귀를 통해 잠재 상태 임베딩을 학습하는 데 어떻게 활용할 수 있는가?
• RQ4 제안된 귀납적 디코딩 접근법이 샘플 효율성 측면에서 단순한 탐색 및 기초 RL 방법들과 어떻게 비교되는가?
• RQ5 샘플 복잡도에서 γ-분리 여백과 μ_min(최소 도달 확률)의 역할은 무엇인가?

주요 결과

• 본 논문은 분리성 가정 하에서 잠재 상태 디코딩 함수와 ε-정책 커버를 회복하는 유한 샘플 보장을 제공한다.
• PCID 알고리즘은 높은 확률로 크기가 O(MH)인 정책 커버를 달성하며, 관찰 공간 크기에 대해 다항로그적으로, M, K, H에 대해 다항적으로 비례하는 샘플 복잡도를 사용한다.
• 역방향 확률 벡터 형식은 디코딩 단계를 최소제곱 회귀를 통해 가능하게 하여 잠재 상태와 일치하는 정확한 상태 임베딩을 산출한다.
• deterministic-BMDPs에서 ε 파라미터는 0이 될 수 있어 디코딩을 간소화하고 고정 행동 시퀀스로 정확한 상태 도달을 가능하게 한다.
• 실험 결과는 잠재 상태에 부정한 접근을 가진 기준선이 있어도 순진한 Q-learning에 비해 탐색 효율이 크게 향상되었다.