[論文レビュー] Efficient Model-free Reinforcement Learning in Metric Spaces

Zhao Song, Wen Sun|arXiv (Cornell University)|May 1, 2019

Reinforcement Learning in Robotics参考文献 19被引用数 20

ひとこと要約

本稿では、メトリック構造を持つ連続的状態行動空間を対象としたモデルフリー強化学習アルゴリズムであるNet-based Q-learning（NbQl）を提案する。最適Q値関数のリプシッツ連続性を活用し、$5$-ネット上の近似カウントベース探索を用いることで、計画オракルや生成モデルを必要とせず、$d$ を状態行動空間の被覆次元として、$\widetilde{O}(T^{(d+1)/(d+2)})$ のレグレットバウンドを達成する。

ABSTRACT

Model-free Reinforcement Learning (RL) algorithms such as Q-learning [Watkins, Dayan 92] have been widely used in practice and can achieve human level performance in applications such as video games [Mnih et al. 15]. Recently, equipped with the idea of optimism in the face of uncertainty, Q-learning algorithms [Jin, Allen-Zhu, Bubeck, Jordan 18] can be proven to be sample efficient for discrete tabular Markov Decision Processes (MDPs) which have finite number of states and actions. In this work, we present an efficient model-free Q-learning based algorithm in MDPs with a natural metric on the state-action space--hence extending efficient model-free Q-learning algorithms to continuous state-action space. Compared to previous model-based RL algorithms for metric spaces [Kakade, Kearns, Langford 03], our algorithm does not require access to a black-box planning oracle.

研究の動機と目的

• 離散的テーブル型MDPからの効率的モデルフリーQ学習を、自然なメトリックを持つ連続的状態行動空間へと拡張すること。
• メトリック空間における従来のモデルベース強化学習手法で必要とされる計画オラクルの必要性を排除すること。
• 最適Q値関数のリプシッツ連続性を用いて、連続空間における探索の理論的保証を確立すること。
• 実践的に用いられている近似カウントベース探索戦略の理論的基盤を提供すること。

提案手法

• メトリック空間における不確実性の高い楽観主義を適用するQ学習の変種として、Net-based Q-learning（NbQl）を提案する。
• 状態行動空間に$\epsilon$-ネットを用いて訪問回数を維持し、リプシッツ連続性による一般化を実現する。
• すべての状態行動ペアではなく、ネット上の点への訪問のみを追跡する近似カウントベース探索戦略を採用する。
• 状態行動空間のサイズに依存するのではなく、メトリック空間の被覆数を複雑さの指標として用いる。
• Hoeffding型の濃度不等式を用いて、価値関数更新における推定誤差を制御する。
• 時間ステップごとの再帰的分解を用いて、最適方策と学習済方策の差を分析し、レグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 メトリック構造を持つ連続的状態行動空間において、モデルフリーQ学習を理論的に有効に拡張できるか？
• RQ2 最適Q値関数のリプシッツ連続性があれば、計画オラクルがなくても効率的な探索が可能か？
• RQ3 近似カウントベース探索戦略は、連続的メトリック空間において理論的に正当化できるか？
• RQ4 このような設定において、最適なレグレットの時間枠と被覆次元依存性は何か？

主な発見

• NbQlは、$d$ を状態行動空間の被覆次元として、$\widetilde{O}(T^{(d+1)/(d+2)})$ のレグレットバウンドを達成する。
• レグレットバウンドは、状態行動空間のサイズではなく、メトリック空間の被覆数に依存するため、連続ドメインへのスケーラビリティを実現する。
• 従来のメトリック空間におけるモデルベース手法とは異なり、計画オラクルへのアクセスを必要としない。
• 理論的分析により、連続的強化学習における近似カウントベース探索戦略の使用が理論的に正当化される。これは、実験的に成功を収めた戦略である。
• バウンドは、動的または報酬関数の滑らかさよりも弱い条件である、最適Q値関数のリプシッツ連続性の仮定の下で導出される。
• 手法はシンプルで、古典的Q学習と構造が類似しているため、実装が容易で実用的である。