[논문 리뷰] Online Learning for Stochastic Shortest Path Model via Posterior Sampling

Mehdi Jafarnia-Jahromi, Liyu Chen외 2명|arXiv (Cornell University)|2021. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 39인용 수 6

한 줄 요약

이 논문은 전이 동역학이 알려지지 않은 Stochastic Shortest Path (SSP) 문제를 위한 사후 표본 기반 강화학습 알고리즘인 PSRL-SSP를 제안한다. 이 알고리즘은 에포크 기반 탐색을 사용하며, 각 에포크의 시작 시 사후 분포에서 모델을 표본 추출하고, 그 표본에 대해 최적 정책을 따르며, $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$의 베이지안 리그레트 경계를 달성한다. 이는 거의 최적이며, 낙관 기반 방법보다 수치적으로 뛰어나다.

ABSTRACT

We consider the problem of online reinforcement learning for the Stochastic Shortest Path (SSP) problem modeled as an unknown MDP with an absorbing state. We propose PSRL-SSP, a simple posterior sampling-based reinforcement learning algorithm for the SSP problem. The algorithm operates in epochs. At the beginning of each epoch, a sample is drawn from the posterior distribution on the unknown model dynamics, and the optimal policy with respect to the drawn sample is followed during that epoch. An epoch completes if either the number of visits to the goal state in the current epoch exceeds that of the previous epoch, or the number of visits to any of the state-action pairs is doubled. We establish a Bayesian regret bound of $O(B_\star S\sqrt{AK})$, where $B_\star$ is an upper bound on the expected cost of the optimal policy, $S$ is the size of the state space, $A$ is the size of the action space, and $K$ is the number of episodes. The algorithm only requires the knowledge of the prior distribution, and has no hyper-parameters to tune. It is the first such posterior sampling algorithm and outperforms numerically previously proposed optimism-based algorithms.

연구 동기 및 목표

• 알려지지 않은 전이 커널을 가진 Stochastic Shortest Path (SSP) 문제를 위한 사후 표본 기반 강화학습 알고리즘을 개발하는 것.
• 에피소드 길이가 유계가 아니며 고정되어 있지 않은 SSP에서 효과적인 탐색 에포크 설계의 과제를 해결하는 것.
• 우수한 수치 성능을 유지하면서 거의 최적의 베이지안 리그레트 경계를 달성하는 것.
• 사전 분포를 통해 사전 지식을 활용하고 하이퍼파rameter 조정이 필요 없는 방법을 제공하는 것.

제안 방법

• 알고리즘은 에포크 기반으로 작동하며, 현재 에포크의 에피소드 수가 이전 에포크의 수를 초과하거나 어떤 상태-행동 쌍의 방문 수가 두 배로 증가할 경우 새로운 에포크로 전환한다.
• 각 에포크의 시작에, 알려지지 않은 모델 역학에 대한 사후 분포에서 전이 커널을 표본 추출한다.
• 에이전트는 전체 에포크 동안 표본화된 모델에 대한 최적 정책을 따르며 행동한다.
• 유한한 기대 에피소드 길이를 보장하고 리그레트 분석을 가능하게 하기 위해, $c_{\epsilon}(s,a) = \max\{c(s,a), \epsilon\}$ 형태의 편경비 함수를 사용하며, $\epsilon = (S^2A/K)^{2/3}$로 설정한다.
• 리그레트 분석은 최적 정책에서의 누적 비용 편차의 기대값을 제한하는 데 기반하며, 농도 부등식과 사후 표본 추출의 성질을 활용한다.
• 리그레트 경계는 모델 표본 오차, 에피소드 길이, 편경비의 영향에 대한 경계를 조합하여 유도되며, 최종적으로 $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$의 경계를 도출한다.

실험 결과

연구 질문

• RQ1 에피소드 길이가 유계가 아닌 SSP 환경에서 사후 표본 추출을 효과적으로 적용할 수 있는가?
• RQ2 고정된 에피소드 수평이 없는 SSP에서 효과적인 탐색과 정책 전환을 가능하게 하는 에포크 종료 기준은 무엇인가?
• RQ3 SSP를 위한 사후 표본 추출 알고리즘이 실용적으로 낙관 기반 방법보다 뛰어난 성능을 보이며 거의 최적의 리그레트를 달성하는가?
• RQ4 하이퍼파rameter 조정이 필요 없이 사전 지식을 SSP 학습 알고리즘에 통합할 수 있는 방법은 무엇인가?

주요 결과

• PSRL-SSP 알고리즘은 $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$의 베이지안 리그레트 경계를 달성한다. 여기서 $B_{\star}$는 최적 정책의 기대 비용에 대한 상한이며, $S$는 상태 공간 크기, $A$는 행동 공간 크기, $K$는 에피소드 수이다.
• 이 알고리즘은 하이퍼파rameter 조정이 필요 없으며, 전이 커널에 대한 사전 분포의 지식만 필요로 한다.
• 수치 실험 결과, PSRL-SSP는 누적 비용과 학습 효율성 측면에서 이전에 제안된 낙관 기반 알고리즘보다 뛰어나다.
• 리그레트 경계는 최소한의 하한 경계에 $\sqrt{S}$ 요소 내에서 수렴하며, 이는 SSP 분야의 사후 표본 추출 문헌에서 알려진 갭과 일치한다.
• 에피소드 길이를 보장하고 더 정교한 리그레트 분석을 가능하게 하기 위해 $\epsilon = (S^2A/K)^{2/3}$로 설정된 편경비 함수를 도입함으로써, $T_{\star}$ — 최적 정책 하에서 목표에 도달하는 데 걸리는 기대 시간 — 를 포함한 추가 항목이 포함된 분석이 가능해진다.
• 분석을 통해 기대 에피소드 수가 유한함을 입증하였으며, 이는 $K$개의 에피소드가 결국 종료됨을 보장하고 리그레트 경계의 적용 가능성을 검증한다.