[論文レビュー] Bounded Optimal Exploration in MDP

Kenji Kawaguchi|arXiv (Cornell University)|Apr 5, 2016

Reinforcement Learning in Robotics参考文献 23被引用数 7

ひとこと要約

本稿では、理論的厳密性と実用的効率性の両立を図るために、マルコフ決定過程（MDP）における探索の緩和されたフレームワークを提案する。境界付き最適探索を導入することで、満足できる方策への収束が著しく速くなる。離散的および連続的MDPの両方に対して、いつでも誤差境界と平均損失境界を保証するアルゴリズムを提示し、従来のPAC-MDP手法と比較して、探索時間を大幅に短縮した近似的最適性能を達成する。

ABSTRACT

Within the framework of probably approximately correct Markov decision processes (PAC-MDP), much theoretical work has focused on methods to attain near optimality after a relatively long period of learning and exploration. However, practical concerns require the attainment of satisfactory behavior within a short period of time. In this paper, we relax the PAC-MDP conditions to reconcile theoretically driven exploration methods and practical needs. We propose simple algorithms for discrete and continuous state spaces, and illustrate the benefits of our proposed relaxation via theoretical analyses and numerical examples. Our algorithms also maintain anytime error bounds and average loss bounds. Our approach accommodates both Bayesian and non-Bayesian methods.

研究の動機と目的

• 理論的根拠に基づく探索手法と、より速い方策収束を求める実用的ニーズを調和させること。
• しばしば過剰な探索と短期的パフォーマンスの悪化を引き起こす、厳格なPAC-MDP条項を緩和すること。
• 離散的および連続的状態空間の両方において、いつでも誤差境界と平均損失境界を維持するアルゴリズムを開発すること。
• 統一されたフレームワークの下でベイジアンおよび非ベイジアン手法をサポートすること。
• 問題の複雑さと所望の精度に応じて、良好にスケーリングする明示的な実行時間境界を提供すること。

提案手法

• 与えられたサンプル数から何回の将来の遷移を学習できるかを定量化するためのh-到達可能モデルの概念を導入し、境界付き探索を可能にする。
• PAC-MDPの到達可能性に基づく緩和を定義し、漸近的収束ではなく実用的な時間制約に焦点を当てる。
• 2つのアルゴリズムを提案：離散MDPでは、境界付き到達可能モデルを用いたモデル学習のためのもの、連続MDPでは、基底関数を用いた関数近似のためのもの。
• 連続領域における計画には、フィットド価値反復とグリーディロールアウトを採用し、誤差境界は集中不等式を用いて導出する。
• 確率的集中技術とモデル更新ダイナミクスを用いて、いつでも誤差境界と平均損失境界を導出する。
• 距離関数とパラメータ化されたモデル更新を用いて、推定誤差をサンプル数と信頼水準の関数として境界付ける。

実験結果

リサーチクエスチョン

• RQ1 従来のPAC-MDP手法よりも、近似的最適性能をより速く達成する探索戦略を設計できるか？
• RQ2 誤差と損失に関する理論的保証を損なわず、PAC-MDP条件をどのように緩和できるか？
• RQ3 高い確率で所望の水準の方策パフォーマンスを達成するために必要な最小の探索時間は何か？
• RQ4 いつでも誤差境界と平均損失境界は、境界付き探索下でどのように振る舞うか？
• RQ5 提案されたフレームワークは、ベイジアンおよび非ベイジアン手法を統一的にサポートできるか？

主な発見

• 提案されたアルゴリズムは、従来のPAC-MDP手法と比較して、著しく短い探索時間で、境界付き最適探索の状態に到達することを達成する。
• 離散MDPでは、必要な探索時間は $ O\big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{\theta^4} \text{ln} \frac{n_S}{\theta} \big) $ で境界づけられ、ここで $ L $, $ n_S $, $ \bar{n} $, および $ m $ は問題固有の定数である。
• 連続MDPでは、いつでも誤差境界は $ O\big( \big(\frac{L^4 n_S^2 \bar{n}^2 \text{ln}^2 m}{t(1-\rho)}\big)^{1/5} \text{ln}^{3/5} \frac{n_S}{\theta} \big) $ とスケーリングされ、時間とともに誤差が減少することが示唆される。
• 平均損失境界は、時間ステップにわたるいつでも誤差の和を取ることで導出され、長期的なパフォーマンスの安定性が保証される。
• アルゴリズム2の明示的探索実行時間は $ O\big( \frac{h^2 L^2 n_S \bar{n} \text{ln} m}{\theta^3 (1-\rho)} \text{ln}^2 \frac{n_S}{\theta} \text{ln} \frac{m^2 n_S h}{\theta} \big) $ であり、問題サイズと信頼水準に有利にスケーリングすることが示された。
• Mountain CarおよびHIV治療ドメインにおける数値実験により、従来のPAC-MDP手法と比較して、収束が速く、実用的パフォーマンスが向上することが確認された。