[논문 리뷰] When Is Partially Observable Reinforcement Learning Not Scary?

Qinghua Liu, Alan Chung외 2명|arXiv (Cornell University)|2022. 04. 19.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 관측이 학습에 유용한 정보를 제공하여 표본 효율적인 학습이 가능한, 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)의 다루기 쉬운 하위클래스인 약하게 드러나는 POMDP를 소개한다. 이는 최적의 정책을 학습하기 위한 다항수 표본 복잡도를 보장하는 최적의 최대우도추정(OMLE) 알고리즘을 제안하며, 전략적 탐색을 통한 초과완성(POMDP)에 대해 처음으로 증명된 효율적인 결과를 이룬다.

ABSTRACT

Applications of Reinforcement Learning (RL), in which agents learn to make a sequence of decisions despite lacking complete information about the latent states of the controlled system, that is, they act under partial observability of the states, are ubiquitous. Partially observable RL can be notoriously difficult -- well-known information-theoretic results show that learning partially observable Markov decision processes (POMDPs) requires an exponential number of samples in the worst case. Yet, this does not rule out the existence of large subclasses of POMDPs over which learning is tractable. In this paper we identify such a subclass, which we call weakly revealing POMDPs. This family rules out the pathological instances of POMDPs where observations are uninformative to a degree that makes learning hard. We prove that for weakly revealing POMDPs, a simple algorithm combining optimism and Maximum Likelihood Estimation (MLE) is sufficient to guarantee polynomial sample complexity. To the best of our knowledge, this is the first provably sample-efficient result for learning from interactions in overcomplete POMDPs, where the number of latent states can be larger than the number of observations.

연구 동기 및 목표

• 부분적 관측에도 불구하고 학습이 수월한 POMDP의 풍부한 하위클래스를 규명하는 것.
• 일반적인 POMDP의 최악의 경우 지수적 표본 복잡도를 극복하기 위해 효율적 학습을 가능하게 하는 구조적 조건을 규명하는 것.
• 상태 수가 관측 수를 초과하는 초과완성(POMDP)에 대해 일반적이고 표본 효율적인 알고리즘을 개발하는 것(전략적 탐색 포함).
• 약하게 드러나는 POMDP에서 최적의 탐색과 최대우도추정(MLE)의 조합이 다항수 표본 복잡도를 달성함을 증명하는 것.

제안 방법

• 모든 시간 단계에서 관측 연산자가 최소 단일값이 0이 아닌 약하게 드러나는 조건을 도입한다.
• 불확실성에 대비한 최적의 태도와 전이 및 관측 모델의 최대우도추정을 통합한 OMLE 알고리즘을 제안한다.
• 수집된 궤적을 사용하여 MLE를 통해 믿음 분포를 갱신하는 모델 기반 접근법을 사용한다.
• 탐색을 장려하기 위해 가치 함수 추정에서 최적의 태도를 적용하여 모든 상태-행동 쌍이 충분히 탐색되도록 보장한다.
• 관측 연산자의 단일값과 정보 노출 능력 간의 관계를 규명하기 위해 쿠란트-파이셔-웨일의 최소-최대 원리 적용.
• 잠재 상태의 구별 가능성을 관측 행렬의 최소 단일값과 연결하여 표본 복잡도의 경계를 설정한다.

실험 결과

연구 질문

• RQ1 POMDP에 어떤 구조적 조건이 존재할 경우 부분적 관측에도 불구하고 표본 효율적인 강화학습이 가능할 수 있는가?
• RQ2 최적의 태도와 MLE를 조합한 일반적인 알고리즘이 초과완성 POMDP에서 다항수 표본 복잡도를 달성할 수 있는가?
• RQ3 잠재 상태 수가 관측 수를 초과하는 상황에서도 관측이 충분히 정보를 제공하여 효율적 학습이 가능한 POMDP의 하위클래스가 존재하는가?
• RQ4 관측 연산자의 최소 단일값은 잠재 상태의 식별 가능성과 표본 효율성에 어떤 영향을 미치는가?

주요 결과

• 논문은 약하게 드러나는 POMDP가 근사 최적의 정책을 학습하기 위해 다항수 표본 복잡도를 갖는다는 것을 입증한다.
• OMLE 알고리즘은 구조적 가정(예: 과소완성)에 의존하지 않으며, 초과완성 POMDP에서도 작동함을 보여준다.
• OMLE의 표본 복잡도는 상태 수, 행동 수, 관측 수에 대해 다항수로 증가하고, 관측 연산자의 최소 단일값에 대해 역수로 감소한다.
• 하한 경계는 문제 매개변수에 대한 다항수 의존성이 필수적임을 보여주며, 상한 경계의 날카로움을 확인한다.
• 약하게 드러나는 조건은 이전의 다루기 쉬운 클래스들인 잠재 MDP와 과소완성 POMDP를 일반화하고 포함한다.
• 결과는 비마르코프, 부분적 관측 환경에서도 최적의 태도가 탐색에 강력한 도구로 남아 있음을 보여준다.