[論文レビュー] Near-optimal Reinforcement Learning in Factored MDPs

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|Mar 15, 2014

Advanced Bandit Algorithms Research参考文献 21被引用数 54

ひとこと要約

本稿では、構造的表現を活用して、状態空間や行動空間全体ではなくパrameter数に多項式的にスケーリングするように、因子付きマルコフ決定過程（FMDP）において近似的に最適なレグレットバウンドを達成する2つの強化学習アルゴリズム—PSRLおよびUCRL-Factored—を提示する。主な貢献は、因子付きパラメータ数に依存するレグレットバウンドを提示することであり、従来のテーブル型手法が失敗する高次元システムにおいても効率的な学習を可能にする。

ABSTRACT

Any reinforcement learning algorithm that applies to all Markov decision processes (MDPs) will suffer $Ω(\sqrt{SAT})$ regret on some MDP, where $T$ is the elapsed time and $S$ and $A$ are the cardinalities of the state and action spaces. This implies $T = Ω(SA)$ time to guarantee a near-optimal policy. In many settings of practical interest, due to the curse of dimensionality, $S$ and $A$ can be so enormous that this learning time is unacceptable. We establish that, if the system is known to be a \emph{factored} MDP, it is possible to achieve regret that scales polynomially in the number of \emph{parameters} encoding the factored MDP, which may be exponentially smaller than $S$ or $A$. We provide two algorithms that satisfy near-optimal regret bounds in this context: posterior sampling reinforcement learning (PSRL) and an upper confidence bound algorithm (UCRL-Factored).

研究の動機と目的

• テーブル型強化学習に不適切なほど巨大な状態空間および行動空間を持つ大規模MDPにおける次元の呪いに対処すること。
• MDPの構造的スパarsityを因子付き表現を通じて活用する強化学習アルゴリズムの開発により、学習の複雑さを低減すること。
• 状態数|S|や行動数|A|ではなく、因子付きモデルにおけるパラメータ数に比例してスケーリングする因子付きMDPの近似的に最適なレグレットバウンドを確立すること。
• 事後サンプリングおよび上位信頼区間法が、証明可能な有効性を伴ってFMDPに適応可能かどうかを示すこと。

提案手法

• エージェントが事後分布から妥当なMDPをサンプリングし、そのサンプルモデル内で最適に行動する、FMDP用のPSRL（事後サンプリング強化学習）を提案する。
• 遷移関数および報酬関数の信頼区間集合を因子付き構造を用いて維持する上位信頼区間アルゴリズムであるUCRL-Factoredを導入する。
• 高次元の状態空間および行動空間をコン pact に表現できるように、動的ベイジアンネットワーク（DBN）を因子付きMDP構造の表現に用いる。
• 経験的遷移および報酬推定値のL1バウンドを用いた集中不等式を用い、サンプルモデルが高確率で信頼区間集合内に存在することを保証する。
• 事後サンプリングの保証と信頼区間集合の有効性、計画誤差バウンドを組み合わせることで、レグレットバウンドを導出する。
• 計算複雑性ではなく統計的効率性に焦点を当て、近似FMDPプランナをサブルーチンとして用いる。

実験結果

リサーチクエスチョン

• RQ1 状態空間および行動空間が指数関数的に巨大である場合、強化学習アルゴリズムは因子付きMDPにおいて近似的に最適なレグレットを達成できるか？
• RQ2 MDPの因子付き構造を活用することで、|S| や |A| ではなくパラメータ数に比例してレグレットバウンドがスケーリング可能か？
• RQ3 事後サンプリングおよび上位信頼区間法は、FMDPに適応可能であり、このようなバウンドを達成可能か？
• RQ4 UCRL-Factoredにおける信頼区間集合の構築は、DBN構造をどのように活用してレグレットを低減しているか？
• RQ5 計画誤差およびモデルの不確実性は、因子付き設定における全体のレグレットにどのような影響を及えるか？

主な発見

• 提案されたPSRLおよびUCRL-Factoredアルゴリズムは、因子付きMDPにおいて近似的に最適なレグレットバウンドを達成し、そのバウンドはパラメータ数に比例してO(√T)にスケーリングする。|S| や |A| に比例しない。
• PSRLのレグレットバウンドは、因子付きパラメータ数に依存する対数的および定数要因を除けばO(√T)であり、情報理論的下界にまで対数的項を除いて一致する。
• 分析により、両アルゴリズムが経験的遷移および報酬推定値の集中不等式を用いて、真のMDPが高確率で信頼区間集合内に存在することを示している。
• 信頼区間集合はL1偏差バウンドを用いて構築され、真のMDPが高確率で集合内に存在することを保証し、正当な事後サンプリングを可能にする。
• プランナの誤差が有界であり、かつモデルが有効な事後分布からサンプリングされる限り、近似計画によるレグレットバウンドはロバストである。
• 結果は、因子付き構造（DBN）が事前に既知であり、プランナがブラックボックスとして利用可能であるという仮定のもとで成り立つ。