[논문 리뷰] Sample-Efficient Reinforcement Learning of Undercomplete POMDPs

Chi Jin, Sham M. Kakade외 2명|arXiv (Cornell University)|2020. 06. 22.

Blind Source Separation Techniques참고 문헌 14인용 수 7

한 줄 요약

이 논문은 관측 수가 잠재 상태 수를 초과하는 비완전 관측 마르코프 결정 과정(POMDP)에 대해 표본 효율적인 강화 학습 알고리즘인 OOM-UCB를 제안한다. 이 알고리즘은 $\varepsilon$-최적 정책을 찾는 데 최적의 $\tilde{\mathcal{O}}(1/\varepsilon^2)$ 표본 복잡도를 달성한다. 이는 낙관적 탐색 전략과 텐서 분해 기반의 관측 가능 연산자 추정을 결합하여 부분 관측 조건 하에서도 증명 가능한 효율적인 학습을 가능하게 한다.

ABSTRACT

Partial observability is a common challenge in many reinforcement learning applications, which requires an agent to maintain memory, infer latent states, and integrate this past information into exploration. This challenge leads to a number of computational and statistical hardness results for learning general Partially Observable Markov Decision Processes (POMDPs). This work shows that these hardness barriers do not preclude efficient reinforcement learning for rich and interesting subclasses of POMDPs. In particular, we present a sample-efficient algorithm, OOM-UCB, for episodic finite undercomplete POMDPs, where the number of observations is larger than the number of latent states and where exploration is essential for learning, thus distinguishing our results from prior works. OOM-UCB achieves an optimal sample complexity of $ ilde{\mathcal{O}}(1/\varepsilon^2)$ for finding an $\varepsilon$-optimal policy, along with being polynomial in all other relevant quantities. As an interesting special case, we also provide a computationally and statistically efficient algorithm for POMDPs with deterministic state transitions.

연구 동기 및 목표

• 완전한 상태 정보가 확보되지 않은 부분 관측 환경에서 표본 효율적인 강화 학습에 도전한다.
• 잠재 상태 수보다 관측 수가 많은 구조적 하위클래스인 비완전 관측 마르코프 결정 과정(undercomplete POMDPs)에 집중하여 일반 POMDPs에서의 통계적 및 계산적 딱ness 장벽을 극복한다.
• 통계적 효율성과 전략적 탐색을 동시에 확보하는 알고리즘을 개발하여, POMDPs에서 정보 획득에 핵심적인 역할을 한다.
• 정적 상태 전이를 갖는 특수 케이스에 대해 계산적으로 효율적인 알고리즘을 설계하여 이전 연구 대비 효율성과 모델 파라미터에 대한 의존도를 향상시킨다.

제안 방법

• 불확실성에 대한 낙관 원칙(UCB)을 기반으로 한 OOM-UCB 알고리즘을 도입하여 비완전 관측 마르코프 결정 과정에서의 탐색을 이끌어낸다.
• 비완전 관측 조건 하에서의 방법론을 활용하여, 텐서 분해 기법을 사용해 궤적에서 관측 가능 연산자(OPEs)를 추정한다.
• 추정된 연산자를 사용해 믿음 상태와 정책 평가를 구성함으로써, 전체 모델 식별 없이도 효율적인 정책 학습을 가능하게 한다.
• 성공 확률을 높이기 위해 부스팅 절차를 적용하여 알고리즘을 다수 번 실행하고 고신뢰도로 최고 성능을 보인 정책을 선택한다.
• 정적 동역학을 갖는 경우, 방출 분포 간 $\ell_2$ 거리에 의존하는 더 나은 표본 복잡도를 확보한 전용 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 일반 POMDPs에서의 통계적 및 계산적 딱ness 장벽이 존재하는 바에 불구하고, 비완전 관측 마르코프 결정 과정에서 표본 효율적인 강화 학습을 달성할 수 있는가?
• RQ2 비완전 관측 마르코프 결정 과정에서 표본 효율성을 달성하기 위해 전략적 탐색이 필수적인 역할을 하는가? 그리고 이는 학습 알고리즘에 공식적으로 구현될 수 있는가?
• RQ3 정적 상태 전이를 갖는 POMDPs에 대해 통계적 효율성을 유지하면서도 계산적으로 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 POMDPs에서 학습의 기본 통계적 한계는 무엇이며, 비완전성 및 최소 특이값과 같은 가정은 표본 복잡도에 어떻게 영향을 미치는가?

주요 결과

• OOM-UCB는 비완전 관측 마르코프 결정 과정에서 $\varepsilon$-최적 정책을 찾는 데 최적의 표본 복잡도 $\tilde{\mathcal{O}}(1/\varepsilon^2)$를 달성하며, 나머지 모든 파라미터에 대해 다항적 의존성을 보인다.
• 알고리즘의 표본 복잡도는 방출 행렬의 최소 특이값에 의존하며, 이는 하한을 통해 필수적임을 입증한다.
• 정적 상태 전이를 갖는 POMDPs의 경우, 표본 복잡도가 방출 분포 간 $\ell_2$ 거리에 의존하며, 특이값에 비해 더 유리한 의존성을 보인다.
• 하한을 통해 과완전 설정에서는 추가 가정 없이 통계적으로 해석 불가능함을 입증하여 비완전 가정의 타당성을 뒷받침한다.
• 다른 하한을 통해 고려된 가정 하에서 방출 행렬의 최소 특이값에 대한 의존성이 피할 수 없다는 것을 확인한다.
• 부스팅 절차는 $\varepsilon$에 대한 최적의 $\tilde{\mathcal{O}}(1/\varepsilon^2)$ 의존성을 유지하여 실패 확률에 대한 강건성을 확보하면서도 표본 효율성을 저하시키지 않는다.