[論文レビュー] Online Learning for Unknown Partially Observable MDPs

Mehdi Jafarnia-Jahromi, Rahul Jain+1 more|arXiv (Cornell University)|Feb 25, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 7

ひとこと要約

本稿では、観測モデルが既知である未知の部分的に観測可能なマルコフ決定過程（POMDP）に対する後方確率に基づく強化学習アルゴリズム、PSRL-POMDPを提案する。有限パラメータ集合ではベイズ的期待リグレットが$ olimits\mathcal{O}(\log T)$を達成し、連続集合では$\tilde{\mathcal{O}}(T^{2/3})$を達成する。これはPOMDPにおけるサブ線形リグレットを有する最初のオンライン強化学習アルゴリズムである。

ABSTRACT

Solving Partially Observable Markov Decision Processes (POMDPs) is hard. Learning optimal controllers for POMDPs when the model is unknown is harder. Online learning of optimal controllers for unknown POMDPs, which requires efficient learning using regret-minimizing algorithms that effectively tradeoff exploration and exploitation, is even harder, and no solution exists currently. In this paper, we consider infinite-horizon average-cost POMDPs with unknown transition model, though a known observation model. We propose a natural posterior sampling-based reinforcement learning algorithm (PSRL-POMDP) and show that it achieves a regret bound of $O(\log T)$, where $T$ is the time horizon, when the parameter set is finite. In the general case (continuous parameter set), we show that the algorithm achieves $O (T^{2/3})$ regret under two technical assumptions. To the best of our knowledge, this is the first online RL algorithm for POMDPs and has sub-linear regret.

研究の動機と目的

• 遷移ダイナミクスが未知だが観測モデルが既知のPOMDPにおけるオンライン強化学習の課題に対処すること。
• 平均コスト無限ホライズン設定においてサブ線形リグレットを達成する、探索と活用のバランスを取るアルゴリズムの設計。
• 部分的観測性と信念状態ダイナミクスを考慮した上で、MDPからPOMDPへの後方確率手法の拡張。
• POMDPにおけるオンライン学習の理論的リグレットバウンドの確立。これは、従来の文献では未解決のギャップであった。

提案手法

• 遷移モデルと潜在状態の両方の事後分布を維持する後方確率アルゴリズムであるPSRL-POMDPを提案する。
• 直接的な状態観測ができない状況において、状態行動訪問頻度を推定するための擬似カウントの概念を導入する。
• 既知の観測カーネルとサンプリングされた遷移モデルに基づく信念状態更新を用いて、方策選択をガイドする。
• 探索と活用のバランスを保ちながらリグレットを制御するため、増加するエピソード長を持つマクロエピソードを採用する。
• 集中不等式と訪問回数の再帰的バウンドを用いて、リグレット保証を導出する。
• 信念状態MDPの構造と後方確率を活用することで、部分的観測性にもかかわらずサブ線形リグレットを達成する。

実験結果

リサーチクエスチョン

• RQ1 後方確率に基づくアルゴリズムは、未知のPOMDPにおけるオンライン学習でサブ線形リグレットを達成できるか？
• RQ2 状態が直接観測できない状況で、かつ遷移ダイナミクスが未知の状況において、効果的な探索をどのように維持できるか？
• RQ3 有限および連続パラメータ集合において、POMDPにおけるオンラインRLの理論的リグレットバウンドはどのように確立できるか？
• RQ4 POMDPにおいて、真の状態行動訪問頻度を近似するために、擬似カウントはどのように定義され、どのように使用されるか？
• RQ5 MDPにおける後方確率の理論枠組みは、POMDPにおける信念状態ダイナミクスを扱うために拡張可能か？

主な発見

• 遷移カーネルのパラメータ集合が有限の場合、PSRL-POMDPはベイズ的期待リグレットを$\mathcal{O}(\log T)$で達成する。
• 一般の連続パラメータ集合の場合、2つの技術的仮定の下で、$\tilde{\mathcal{O}}(T^{2/3})$のリグレットを達成する。
• アルゴリズムは、遷移モデルと隠れた状態の両方の事後分布を維持しており、効果的な信念更新を可能にする。
• 擬似カウントが導入され、直接的なカウントが不可能な未観測状態における状態行動訪問頻度の推定に使用される。
• リグレット解析は、$T_k$（エピソード長）と$t_k$（累積時間）の和の$T_k / \sqrt{t_k}$の上限に依存する。
• 本結果により、理論的にサブ線形リグレットを保証する最初のPOMDP用オンラインRLアルゴリズムが確立され、文献における重要なギャップが埋められた。