[논문 리뷰] RL for Latent MDPs: Regret Guarantees and a Lower Bound

Jeongyeol Kwon, Yonathan Efroni외 2명|arXiv (Cornell University)|2021. 02. 09.

Reinforcement Learning in Robotics참고 문헌 3인용 수 7

한 줄 요약

이 논문은 참조 MDP가 관측되지 않으며 유한한 집합에서 선택되는 잠재적 마르코프 결정 과정(LMDP)에서 강화 학습의 기본 표본 복잡도 및 손실 한계를 설정한다. 일반적인 LMDP에 대해 Ω((SA)^M)에 해당하는 지수적 하한을 증명하지만, MDP 간 충분한 분리 또는 통계적 충분성과 접근 가능성 가정 하에서는 다항 표본 복잡도와 비선형 손실가능성이 달성 가능함을 보여주며, 초기화 없이도 효율적인 학습이 가능하다.

ABSTRACT

In this work, we consider the regret minimization problem for reinforcement learning in latent Markov Decision Processes (LMDP). In an LMDP, an MDP is randomly drawn from a set of $M$ possible MDPs at the beginning of the interaction, but the identity of the chosen MDP is not revealed to the agent. We first show that a general instance of LMDPs requires at least $Ω((SA)^M)$ episodes to even approximate the optimal policy. Then, we consider sufficient assumptions under which learning good policies requires polynomial number of episodes. We show that the key link is a notion of separation between the MDP system dynamics. With sufficient separation, we provide an efficient algorithm with local guarantee, {\it i.e.,} providing a sublinear regret guarantee when we are given a good initialization. Finally, if we are given standard statistical sufficiency assumptions common in the Predictive State Representation (PSR) literature (e.g., Boots et al.) and a reachability assumption, we show that the need for initialization can be removed.

연구 동기 및 목표

• 참조 MDP가 관측되지 않으며 유한한 집합에서 선택되는 잠재적 마르코프 결정 과정(LMDP)에서 강화 학습의 기본 표본 복잡도 및 손실 한계를 이해하는 것.
• LMDP에서 효율적 학습—특히 다항 표본 복잡도와 비선형 손실가능성—이 가능한 조건을 규명하는 것.
• 통계적 충분성과 접근 가능성 가정을 도입하여 LMDP 학습에서 양호한 초기화의 필요성을 제거하는 것.
• 다중 작업 강화 학습, 문맥 MDP, 전이 학습 등 잠재적 맥락이 흔한 실용적 설정과 이론적 강화 학습 간 격차를 메우는 것.

제안 방법

• 일반적인 LMDP에서 최적 정책을 근사하기 위해 필요한 최소 에피소드 수에 대해 Ω((SA)^M)의 하한을 증명하며, 이는 결정론적 MDP일 경우에도 적용되며, 맥락 수 M에 대한 지수적 의존성을 보여준다.
• 잠재적 MDP 설정에서 다항 표본 복잡도와 비선형 손실가능성을 가능하게 하는 핵심 조건으로 MDP 시스템 동역학 간 '분리성'의 개념을 도입하며, 부분 관측 환경에서의 새로운 비용 기반 알고리즘을 통해 이를 실현한다.
• 값의 반복과 UCRL이 관측되지 않은 상태로 인해 직접 적용될 수 없는 부분 관측 환경에 적합한 불확실성에 대한 낙관주의 원리(예: UCB)를 적응하여 적용한다.
• 특이값 분해와 행렬 편향 이론(Davis-Kahn 정리)을 활용한 스펙트럼 기반 학습 알고리즘을 제안하여 궤적에서 MDP 동역학을 추정한다.
• 예측 상태 표현(PSR) 가정—예를 들어 통계적 충분성과 관측 모델의 최대 질량—을 활용하여 초기화의 필요성을 완전히 제거한다.
• 궤적 클러스터링과 신뢰구간을 통합한 플래닝-오라클 프레임워크를 도입하여 부분 관측 조건 하에서 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 참조 MDP가 관측되지 않을 경우 잠재적 MDP에서 학습하는 데 필요한 기본 표본 복잡도는 무엇인가?
• RQ2 MDP 동역학 간 분리성과 같은 온건한 구조적 가정 하에서 LMDP에서 비선형 손실가능성을 달성할 수 있는가?
• RQ3 PSR 문헌에서 일반적인 통계적 가정 하에서 LMDP 학습에서 양호한 초기화의 필요성을 제거할 수 있는가?
• RQ4 단기 시간 수평에서 LMDP의 학습 전략과 표본 복잡도에 시간 수평 길이가 미치는 영향은 무엇인가?
• RQ5 스펙트럼 기반 학습과 행렬 편향 이론은 부분 관측에서 잠재적 MDP 동역학을 추정하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 일반적인 LMDP에서 최적 정책을 근사하기 위해 Ω((SA)^M)의 에피소드가 필요하다는 하한을 설정하며, 추가 가정 없이 다항 표본 복잡도가 불가능함을 보여준다.
• MDP 동역학 간 충분한 분리성 조건이 만족될 경우, 조건부로 낮은 초기화 상태에서 시작하더라도 비선형 손실가능성을 확보하는 효율적 알고리즘을 제시한다.
• 통계적 충분성 가정(PSR 문헌에서 흔함)과 접근 가능성 조건 하에서는 초기화의 필요성이 완전히 제거되며, 초기 단계부터 비선형 손실가능성을 달성할 수 있다.
• 제안된 알고리즘은 스펙트럼 기반 학습과 행렬 편향 이론을 활용하여 잠재적 MDP 파라미터를 추정하며, 유한한 노이즈 조건 하에서 특이값과 부분공간 추정의 이론적 보장을 제공한다.
• 테스트 문제에 대한 실증 평가 결과, 특히 분리성과 통계적 충분성의 가정이 좋은 표본 효율성과 손실 성능을 달성하는 데 핵심적임을 확인하였다.
• 이론적 분석 결과, MDP 파라미터 추정 오차는 에피소드 수가 증가함에 따라 감소하며, 제안된 가정 하에서는 손실 한계가 비선형적으로 스케일링됨을 보여주었다.