[논문 리뷰] Online Learning for Unknown Partially Observable MDPs

Mehdi Jafarnia-Jahromi, Rahul Jain외 1명|arXiv (Cornell University)|2021. 02. 25.

Reinforcement Learning in Robotics참고 문헌 48인용 수 7

한 줄 요약

이 논문은 전이 모델이 알려져 있지 않지만 관측 모델이 알려진 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)을 위한 후행 표본 기반 강화 학습 알고리즘인 PSRL-POMDP를 제안한다. 유한한 매개변수 집합에 대해 $ olimits ext{O}( olimits\log T)$의 베이지안 기대 손실을 달성하고, 연속적인 집합에 대해서는 $ olimits\tilde{\text{O}}(T^{2/3})$를 달성하며, 이는 POMDP에 대해 서브선형 손실을 보장하는 첫 번째 온라인 강화 학습 알고리즘이다.

ABSTRACT

Solving Partially Observable Markov Decision Processes (POMDPs) is hard. Learning optimal controllers for POMDPs when the model is unknown is harder. Online learning of optimal controllers for unknown POMDPs, which requires efficient learning using regret-minimizing algorithms that effectively tradeoff exploration and exploitation, is even harder, and no solution exists currently. In this paper, we consider infinite-horizon average-cost POMDPs with unknown transition model, though a known observation model. We propose a natural posterior sampling-based reinforcement learning algorithm (PSRL-POMDP) and show that it achieves a regret bound of $O(\log T)$, where $T$ is the time horizon, when the parameter set is finite. In the general case (continuous parameter set), we show that the algorithm achieves $O (T^{2/3})$ regret under two technical assumptions. To the best of our knowledge, this is the first online RL algorithm for POMDPs and has sub-linear regret.

연구 동기 및 목표

• 전이 동역학이 알려져 있지 않지만 관측 모델이 알려진 POMDP에서 온라인 강화 학습의 과제를 해결하기 위해.
• 평균비용 무한할행 설정에서 서브선형 손실을 달성하는 탐색-이용 균형 알고리즘을 설계하기 위해.
• 관측 불가능한 상태와 믿음 상태의 동역학을 고려하여 MDP에서 POMDP로 후행 표본 방법을 확장하기 위해.
• POMDP에서의 온라인 학습을 위한 이론적 손실 한계를 수립하기 위해, 이는 이전에 문헌에서 다루지 않은 격차이다.

제안 방법

• 전이 모델과 숨겨진 상태에 대한 후행 분포를 유지하는 후행 표본 알고리즘인 PSRL-POMDP를 제안한다.
• 직접적인 상태 관측이 없는 상황에서 상태-행동 방문 빈도를 추정하기 위해 가짜 카운트의 개념을 도입한다.
• 알려진 관측 커널과 샘플된 전이 모델을 기반으로 한 믿음 상태 갱신을 통해 정책 선택을 안내한다.
• 탐색과 이용을 균형 잡고 손실을 통제하기 위해 증가하는 에피소드 길이를 갖는 매크로 에피소드를 사용한다.
• 손실 보장을 유도하기 위해 방문 빈도의 농도 부등식과 재귀적 경계를 적용한다.
• 믿음 상태 MDP의 구조와 후행 표본을 활용하여, 부분 관측 가능성에도 불구하고 서브선형 손실을 달성한다.

실험 결과

연구 질문

• RQ1 후행 표본 기반 알고리즘이 알려지지 않은 POMDP에서 온라인 학습에 대해 서브선형 손실을 달성할 수 있는가?
• RQ2 상태가 직접 관측되지 않으며 전이 동역학이 알려져 있지 않은 POMDP에서 효과적인 탐색을 어떻게 유지할 수 있는가?
• RQ3 유한하고 연속적인 매개변수 집합 하에서 POMDP의 온라인 강화 학습에 대해 이론적으로 확보할 수 있는 손실 한계는 무엇인가?
• RQ4 가짜 카운트는 어떻게 정의되고, POMDP에서 진정한 상태-행동 방문 빈도를 근사하기 위해 어떻게 사용할 수 있는가?
• RQ5 MDP에 대한 후행 표본 이론적 프레임워크는 POMDP의 믿음 상태 동역학을 다룰 수 있도록 어떻게 확장할 수 있는가?

주요 결과

• 전이 커널 매개변수 집합이 유한할 경우, PSRL-POMDP는 $ olimits\mathcal{O}(\log T)$의 베이지안 기대 손실을 달성한다.
• 일반적인 경우 연속적인 매개변수 집합 하에서, 두 가지 기술적 가정 하에 알고리즘은 $ olimits\tilde{\mathcal{O}}(T^{2/3})$의 손실을 달성한다.
• 알고리즘은 전이 모델과 은닉 상태에 대한 후행 분포를 유지하여 효과적인 믿음 갱신을 가능하게 한다.
• 가짜 카운트가 도입되어 직접적인 세기 없이 상태-행동 방문 빈도를 추정한다.
• 손실 분석은 각 에피소드의 길이 $T_k$와 누적 시간 $t_k$에 대해 $T_k / \sqrt{t_k}$의 합을 경계하는 데 의존한다.
• 이 결과는 POMDP에 대해 증명 가능하고 서브선형 손실을 보장하는 첫 번째 온라인 강화 학습 알고리즘을 확립하여, 문헌에서 중요한 격차를 메운다.