[論文レビュー] Incremental Model-based Learners With Formal Learning-Time Guarantees

Alexander L. Strehl, Lihong Li+1 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Algorithms参考文献 11被引用数 17

ひとこと要約

本稿では、各ステップでの内部モデルの完全な解法を回避するためにリアルタイム動的計画法（RTDP）を用いる、増分的でモデルベースの強化学習アルゴリズムであるRTDP-RMAXおよびRTDP-IEを提案する。これにより、計算コストを著しく削減しながらもPAC-MDP学習保証を維持する。主な貢献は、計算量を削減しても依然として学習誤りの数に多項式的境界を保証できることの証明であり、大規模なMDPにおいて形式的な時間計算量保証を伴う効率的学習を可能にする。

ABSTRACT

Model-based learning algorithms have been shown to use experience efficiently when learning to solve Markov Decision Processes (MDPs) with finite state and action spaces. However, their high computational cost due to repeatedly solving an internal model inhibits their use in large-scale problems. We propose a method based on real-time dynamic programming (RTDP) to speed up two model-based algorithms, RMAX and MBIE (model-based interval estimation), resulting in computationally much faster algorithms with little loss compared to existing bounds. Specifically, our two new learning algorithms, RTDP-RMAX and RTDP-IE, have considerably smaller computational demands than RMAX and MBIE. We develop a general theoretical framework that allows us to prove that both are efficient learners in a PAC (probably approximately correct) sense. We also present an experimental evaluation of these new algorithms that helps quantify the tradeoff between computational and experience demands.

研究の動機と目的

• RMAX や MBIE のようなモデルベースRLアルゴリズムが各ステップで完全なモデル解法を必要とする高コスト問題に対処する。
• 強い理論的学習保証を維持しながらも、高速で増分的な学習アルゴリズムを開発する。
• 繰り返し完全なモデル解法を回避することで、大規模MDPにおける効率的学習を可能にする。
• 新しいアルゴリズムがPAC-MDP学習者としての性質を保ち、誤り数に多項式的境界を有することを証明する。

提案手法

• モデルベース学習者の内部モデルにリアルタイム動的計画法（RTDP）を適応し、完全な方策計算ではなく部分的な価値更新のみを実行する。
• 楽観的初期化を用いる：すべての状態行動ペアに対して Q1(s,a) = 1/(1−γ) とする。これにより探索が促進される。
• RTDP-RMAX では、固定された探索閾値 m を適用する。行動は m 回経験された後でのみ更新され、未訪問の行動は最大の報酬を持つとみなされる。
• RTDP-IE では、区間推定を用いる。行動価値の上側信頼区間を最大化する行動を選択することで、より高速で焦点を当てた学習が可能になる。
• 観測経験に基づいて遷移関数（ˆTt）と報酬関数（ˆRt）の経験的推定値を用い、ベルマンバックアップによりQ値を更新する。
• 各タイムステップで行動価値推定値 Qt(s,a) を維持し、グリーディ行動選択 a′ = argmaxa Qt(st,a) を行う。

実験結果

リサーチクエスチョン

• RQ1 モデルベースRLの計算コストを削減しつつ、サンプル効率や学習保証を損なわずに可能か？
• RQ2 RTDPに基づく増分的更新は、一般のMDPにおいてPAC-MDP学習境界を保持できるか？
• RQ3 さまざまなモデル更新戦略において、計算コストとサンプル複雑度のトレードオフはどのように変化するか？
• RQ4 区間推定（IE）または固定探索（RMAXスタイル）戦略を用いることで、計算制約下で収束が速くなるか？

主な発見

• RTDP-RMAX および RTDP-IE は、RMAX や MBIE よりも著しく低い計算複雑度を達成し、一部の設定ではベルマンバックアップを最大90％まで削減した。
• 計算量の削減にもかかわらず、両アルゴリズムとも非ε最適行動数に多項式的境界を保ち、PAC-MDP学習者であることが証明された。
• 制限付きモデル設定（サイズ3〜100）では、RTDP-IE と RTDP-RMAX はそれぞれ4,438および5,618回のバックアップで累積報酬15,000に到達したが、MBIEは60,351回を要した。
• モデルサイズを100に増加した場合、RTDP-IE と RTDP-RMAX は計算コストの増加が最小限（4,391および4,438回のバックアップ）に抑えられ、サンプル効率が向上した。
• RMAX や MBIE よりもはるかに少ないタイムステップで近似的に最適な累積報酬を達成したが、特に制限付きモデル領域では顕著であった。
• RTDP-IE/RTDP-RMAX と RMAX/MBIE の間のサンプル効率の差は小さかったが、計算コストの削減は顕著であった。