[論文レビュー] When Is Partially Observable Reinforcement Learning Not Scary?

Qinghua Liu, Alan Chung+2 more|arXiv (Cornell University)|Apr 19, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本稿では、部分的に観測可能なマルコフ決定過程（POMDP）の tractable な部分クラスである弱く再現性のある POMDP を導入し、観測が近似的な最適方策の学習を可能にする十分な情報を提供することを示す。本稿は、明示的最尤推定（OMLE）アルゴリズムを提案し、これを用いて近似的な最適方策の学習における多項式的サンプル複雑性を証明する。これは、戦略的探索を伴う過剰な状態数（観測数より多い状態数）を持つ POMDP に対して、初めての明示的かつ有効な結果をもたらす。

ABSTRACT

Applications of Reinforcement Learning (RL), in which agents learn to make a sequence of decisions despite lacking complete information about the latent states of the controlled system, that is, they act under partial observability of the states, are ubiquitous. Partially observable RL can be notoriously difficult -- well-known information-theoretic results show that learning partially observable Markov decision processes (POMDPs) requires an exponential number of samples in the worst case. Yet, this does not rule out the existence of large subclasses of POMDPs over which learning is tractable. In this paper we identify such a subclass, which we call weakly revealing POMDPs. This family rules out the pathological instances of POMDPs where observations are uninformative to a degree that makes learning hard. We prove that for weakly revealing POMDPs, a simple algorithm combining optimism and Maximum Likelihood Estimation (MLE) is sufficient to guarantee polynomial sample complexity. To the best of our knowledge, this is the first provably sample-efficient result for learning from interactions in overcomplete POMDPs, where the number of latent states can be larger than the number of observations.

研究の動機と目的

• 部分的観測下でも学習が tractable であるような POMDP の豊かな部分クラスを同定すること。
• 一般 POMDP における最悪ケースの指数的サンプル複雑性を克服するため、効率的学習を可能にする構造的条件を同定すること。
• 過剰な状態数（観測数より多い状態数）を持つ POMDP に対して、汎用的かつサンプル効率的なアルゴリズムを構築すること。
• 弱く再現性のある POMDP において、明示的探索と最尤推定の組み合わせが多項式的サンプル複雑性を達成することを証明すること。

提案手法

• 観測作用素がすべての時間ステップで非ゼロの最小特異値を持つことを要件とする「弱く再現性のある条件」を導入する。
• 不確実性の面前で明示的探索を行うことと、遷移および観測モデルの最尤推定を統合した OMLE アルゴリズムを提案する。
• 収集した軌道を用いて MLE で信念分布を更新するモデルベースのアプローチを採用する。
• 価値関数推定における明示的探索を用いて、すべての状態行動ペアが十分に探索されるように保証する。
• コールドン＝ファイシャー＝ヴァイエルの最小最大原理を用いて、観測作用素の特異値と情報の再現能力を関連付ける。
• 観測行列の最小特異値と潜在状態の区別可能性との関係を用いて、サンプル複雑性の境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 POMDP にどのような構造的条件が満たされていれば、部分的観測下でもサンプル効率的強化学習が可能になるか？
• RQ2 明示的探索と最尤推定を組み合わせた汎用的アルゴリズムが、過剰な状態数を持つ POMDP において多項式的サンプル複雑性を達成できるか？
• RQ3 潜在状態数が観測数を上回る状況下でも、観測が十分に情報を含んでおり、効率的学習が可能となる POMDP の部分クラスは存在するか？
• RQ4 観測作用素の最小特異値は、潜在状態の同定可能性およびサンプル効率性にどのように関係するか？

主な発見

• 本稿では、弱く再現性のある POMDP が、近似的な最適方策の学習において多項式的サンプル複雑性を有することを確立した。
• OMLE アルゴリズムは、下位の状態数（観測数より少ない状態数）という構造的仮定に依存せず、過剰な POMDP に対しても有効である。
• OMLE のサンプル複雑性は、状態数、行動数、観測数に対して多項式的に増加し、観測作用素の最小特異値に対して逆比例する。
• 下界の結果により、問題パラメータに対する多項式的依存性が必須であることが示され、上界のタイトさが裏付けられた。
• 弱く再現性のある条件は、従来の tractable なクラス（例えば、潜在 MDP や下位の POMDP）を一般化し、包含する。
• 本結果は、非マルコフ的かつ部分的に観測可能な設定においても、明示的探索が依然として強力な探索戦略であることを示している。