[論文レビュー] Selecting Near-Optimal Approximate State Representations in Reinforcement Learning

Ronald Ortner, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|May 12, 2014

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、真のMDP表現が存在しない状況でも、有限なモデル集合から近似的に最適に近い状態表現を選択する強化学習アルゴリズムを提案する。近似誤差ǫとMDP直径Dに比例するレグレットバウンドを達成しており、従来の研究から真のモデルが存在するという仮定を不要にし、状態空間サイズや信頼区間の依存性を強化することで、より優れた性能を実現している。

ABSTRACT

We consider a reinforcement learning setting introduced in (Maillard et al., NIPS 2011) where the learner does not have explicit access to the states of the underlying Markov decision process (MDP). Instead, she has access to several models that map histories of past interactions to states. Here we improve over known regret bounds in this setting, and more importantly generalize to the case where the models given to the learner do not contain a true model resulting in an MDP representation but only approximations of it. We also give improved error bounds for state aggregation.

研究の動機と目的

• 与えられたモデル集合内に真のMDP表現を持つモデルがない場合に、有効な状態表現を選択する課題に対処すること。
• 近似モデルを用いた設定において、従来の研究に比べて状態空間サイズに依存するレグレットバウンドを改善すること。
• モデルが真のMDPを近似的にしか表現できない状況でも、近似的に最適な戦略を実現する戦略を開発すること。
• 近似誤差ǫとMDP直径Dを考慮した収束性とレグレットに関する理論的保証を提供すること。
• [7]の先行研究を一般化し、モデル集合Φに真のMDPモデルが存在するという仮定を撤廃すること。

提案手法

• 信頼区間とペナルティ付きの楽観的Q値推定を用いて、探索と活用のバランスを取るモデル選択アルゴリズムを導入する。
• 2段階のエピソード構造を採用：エピソードは「ラン」に分割され、各ラン内でモデルの性能と信頼区間に基づいてモデルがテスト・選択される。
• Q値推定に用いるペナルティ項は、モデルの推定近似誤差˜ǫ(φ)、状態空間サイズSφ、信頼水準δに依存する。
• コーシー＝シュワルツの不等式と集中不等式を用いて、推定報酬と真の報酬の乖離をバウンドし、高確率でのレグレット制御を保証する。
• 真のMDPのバイアススパンと直径Dを活用して、近似モデルの誤差伝播を制御する。
• 推定性能が楽観的バウンドと整合する場合にのみテストに合格するモデル選択ルールを採用し、近似誤差に対してロバストであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 与えられたモデル集合内に真のMDP表現を持つモデルがない場合でも、強化学習でサブ線形なレグレットを達成できるか？
• RQ2 最良のモデルの近似誤差ǫに依存するレグレットはどのように変化するか？
• RQ3 状態空間サイズSと真のMDPの直径Dに依存する部分を減らすことで、レグレットバウンドを改善できるか？
• RQ4 モデルが真のMDPを近似的にしか表現できない状況で達成可能な最小のレグレットは何か？また、ǫとDにどのようにスケーリングされるか？
• RQ5 未知の近似誤差に対してもロバストであり、かつ近似的に最適な性能を保証できるモデル選択戦略を設計できるか？

主な発見

• 最良のモデルの近似誤差がǫである場合、アルゴリズムはO(√(T log T))のオーダーのレグレットバウンドを達成する。加法的項はǫDに比例し、既知の下界と一致する。
• 従来の研究に比べ、状態空間サイズSφへの依存性を低減することで、信頼区間とペナルティ項の精密な使用により、よりタイトなバウンドを達成している。
• 推定誤差˜ǫ(φkj)が真の誤差ǫ(φkj)以上である場合、選択されたモデルφkjが高確率(1−δ)ですべてのテストに合格することが保証される。
• 楽観的方策のバイアススパンは真のMDP直径Dによってバウンドされ、価値関数推定の誤差を制御可能となる。
• エピソード数KTはO(SA log(T/S))にバウンドされ、モデル再評価の頻度を制御し、効率的な学習を保証する。
• 最終的なレグレットバウンドはO(√(T log T) + ǫD T)にスケーリングされ、モデル近似下でも近似的に最適に学習可能であり、1ステップあたりの誤差はǫDに比例することが示された。