[論文レビュー] RL for Latent MDPs: Regret Guarantees and a Lower Bound

Jeongyeol Kwon, Yonathan Efroni+2 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics参考文献 3被引用数 7

ひとこと要約

本稿は、真のMDPが観測不能で有限集合から選ばれる潜在的マルコフ決定過程（LMDP）における強化学習の根本的な標本複雑性とレグレットバウンドを確立する。一般のLMDPでは、Ω((SA)^M)エピソードの指数的下界を示すが、MDP間の十分な分離性があるか、統計的十分性と到達可能性の仮定がある場合、多項式の標本複雑性と非線形レグレットが達成可能であり、初期化を必要とせずに効率的な学習が可能であることを示す。

ABSTRACT

In this work, we consider the regret minimization problem for reinforcement learning in latent Markov Decision Processes (LMDP). In an LMDP, an MDP is randomly drawn from a set of $M$ possible MDPs at the beginning of the interaction, but the identity of the chosen MDP is not revealed to the agent. We first show that a general instance of LMDPs requires at least $Ω((SA)^M)$ episodes to even approximate the optimal policy. Then, we consider sufficient assumptions under which learning good policies requires polynomial number of episodes. We show that the key link is a notion of separation between the MDP system dynamics. With sufficient separation, we provide an efficient algorithm with local guarantee, {\it i.e.,} providing a sublinear regret guarantee when we are given a good initialization. Finally, if we are given standard statistical sufficiency assumptions common in the Predictive State Representation (PSR) literature (e.g., Boots et al.) and a reachability assumption, we show that the need for initialization can be removed.

研究の動機と目的

• 真のMDPが観測不能で有限集合から選ばれる潜在的MDP（LMDP）における強化学習の根本的標本複雑性とレグレット限界を理解すること。
• LMDPにおいて、具体的には多項式の標本複雑性と非線形レグレットが達成可能な条件を同定すること。
• 統計的十分性と到達可能性の仮定を導入することで、LMDP学習における良好な初期化の必要性を排除すること。
• マルチタスクRL、文脈付きMDP、転移学習といった実用的設定（潜在的文脈が一般的な分野）とのギャップを埋めること。

提案手法

• 一般のLMDPにおいて最適方策を近似するためには、Ω((SA)^M)エピソードが必要であることを示し、文脈数Mに指数的依存があることを確立する。これは決定的MDPに対しても成立する。
• MDPのダイナミクス間の「分離性」を、部分観測状態での多項式的標本複雑性と非線形レグレットを達成するための鍵となる条件として導入。新規の「楽観主義ベース」のアルゴリズムを用いて実現。
• UCBの原則である「不確実性における楽観主義」を、状態が観測不能な潜在的MDP設定に適応。状態が観測できないため、価値反復やUCRLは直接適用できない。
• 特異値分解と行列摂動理論（Davis-Kahn定理）を用いたスペクトル学習ベースのアルゴリズムを提案。トレースからMDPダイナミクスを推定。
• 予測状態表現（PSR）の仮定（統計的十分性、観測モデルのフルランク）を活用し、初期化の必要性を完全に排除。
• トレースクラスタリングと信頼区間を組み合わせたプランニング・オラクルフレームワークを採用。部分観測下での探索と活用のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 真のMDPが観測不能な潜在的MDPにおける学習の根本的標本複雑性は何か？
• RQ2 MDPダイナミクスの間の分離性といった弱い構造的仮定のもとで、LMDPにおいて非線形レグレットを達成できるか？
• RQ3 PSR文献で一般的な標準的統計的仮定のもとで、LMDP学習における良好な初期化の必要性を排除できるか？
• RQ4 時間ホライズン長が、短いホライズンを有するLMDPにおける学習戦略と標本複雑性に与える影響は何か？
• RQ5 スペクトル学習と行列摂動理論は、部分観測からの潜在的MDPダイナミクス推定において果たす役割は何か？

主な発見

• 本稿は、一般のLMDPにおいて最適方策を近似するためのΩ((SA)^M)エピソードの下界を確立し、追加の仮定なしには多項式の標本複雑性が不可能であることを示している。
• MDPダイナミクス間に十分な分離性がある場合、本稿は非線形レグレット保証を持つ効率的アルゴリズムを提示。初期化が悪くても成立する。
• 統計的十分性の仮定（PSR文献で一般的）と到達可能性条件のもとでは、初期化の必要性が完全に排除され、初期段階から非線形レグレットが達成可能になる。
• 提案されたアルゴリズムは、スペクトル学習と行列摂動理論を活用して潜在的MDPパラメータを推定し、ノイズが有界な条件下で特異値および部分空間推定の理論的保証を得ている。
• トロイ問題における実験的評価により、仮定（特に分離性と統計的十分性）が良好な標本効率性とレグレット性能を達成するために重要であることが確認された。
• 理論的分析により、MDPパラメータの推定誤差がエピソード数に従って減少し、提案された仮定のもとでレグレットバウンドが非線形にスケーリングすることが示された。