[論文レビュー] Online Reinforcement Learning for Real-Time Exploration in Continuous State and Action Markov Decision Processes

Ludovic Hofer, Hugo Gimbert|arXiv (Cornell University)|Dec 12, 2016

Reinforcement Learning in Robotics参考文献 18被引用数 4

ひとこと要約

本稿では、連続的状態および行動を伴うマルコフ決定過程（MDP）に対するモデルフリーなオンライン強化学習手法として、Fitted Policy Forest（FPF）アルゴリズムを提案する。この手法は、対数時間オーダーの行動選択を実現することで、リアルタイムでの方策推論を可能にする。FPFはQ値を表現する回帰森を構築し、再サンプリングとリーフマージングを用いてそれをコンパクトな方策木に変換することで、事前の構造的仮定なしに低コストで高い性能を達成する。FQI や BAS より優れた性能を示し、特にインバーテッドペンドulumのような確率的環境でも顕著である。

ABSTRACT

This paper presents a new method to learn online policies in continuous state, continuous action, model-free Markov decision processes, with two properties that are crucial for practical applications. First, the policies are implementable with a very low computational cost: once the policy is computed, the action corresponding to a given state is obtained in logarithmic time with respect to the number of samples used. Second, our method is versatile: it does not rely on any a priori knowledge of the structure of optimal policies. We build upon the Fitted Q-iteration algorithm which represents the $Q$-value as the average of several regression trees. Our algorithm, the Fitted Policy Forest algorithm (FPF), computes a regression forest representing the Q-value and transforms it into a single tree representing the policy, while keeping control on the size of the policy using resampling and leaf merging. We introduce an adaptation of Multi-Resolution Exploration (MRE) which is particularly suited to FPF. We assess the performance of FPF on three classical benchmarks for reinforcement learning: the "Inverted Pendulum", the "Double Integrator" and "Car on the Hill" and show that FPF equals or outperforms other algorithms, although these algorithms rely on the use of particular representations of the policies, especially chosen in order to fit each of the three problems. Finally, we exhibit that the combination of FPF and MRE allows to find nearly optimal solutions in problems where $ε$-greedy approaches would fail.

研究の動機と目的

• 連続的状態および行動を伴うマルコフ決定過程（MDP）に対するモデルフリーなオンライン強化学習アルゴリズムの開発を目的とする。このアルゴリズムはリアルタイムでの方策推論を可能にすることを目的とする。
• 方策計算後に、サンプル数に対して対数時間オーダーで計算コストが低い行動選択を可能とし、組み込みロボットシステムに適した仕組みを実現することを目的とする。
• 最適方策の構造に関する事前知識を必要としない、汎用性の高い手法を設計することを目的とする。これにより、手動で設計された関数基底に依存するのを回避する。
• Multi-Resolution Exploration（MRE）とFPFを統合し、高次元かつ確率的な制御問題における効果的な探索を実現することを目的とする。
• ハイパーパrameterチューニングなしに、インバーテッドペンドulum、ダブルインテグレータ、ヒルの上の車といった複雑な制御ベンチマークを効果的に解けることを実証することを目的とする。

提案手法

• FPFは、Fitted Q-Iterationに基づき、Q値関数を回帰森で表現する。これにより、滑らかで効率的なQ値の近似が可能になる。
• Q値の森を、各状態でQ値を最大化する行動を抽出することで、単一の方策木に変換する。再サンプリングとリーフマージングを用いて方策のサイズを制御する。
• 滑らかさと一般化性能の向上を図るため、極めてランダムな決定木（extremely randomized trees）にインspiredしたランダムな分割戦略を採用する。
• 状態-行動知識をkdツリーで追跡することで、楽観的な探索を維持するようにMulti-Resolution Exploration（MRE）を適応的に拡張し、ランダムな分割により探索効率を向上させる。
• 局所最適値への吸引を軽減するようにQ値の更新ルールを変更し、確率的環境での収束性を向上させる。
• 方策近似には区分線形（PWL）または区分定数（PWC）関数を用い、PWLが最適方策がバン・バン型であっても性能を維持することを示している。

実験結果

リサーチクエスチョン

• RQ1 回帰森から導出される方策は、連続的MDPにおいてリアルタイムで低コストな行動推論を達成できるか？
• RQ2 FPFは、事前の構造的仮定なしに、FQI や BAS よりも確率的で連続的な制御問題において優れた性能を示せるか？
• RQ3 FPFとMREの組み合わせにより、手動でのハイパーパrameterチューニングなしに効果的な探索が可能になるか？
• RQ4 区分線形方策近似を用いることで、区分定数近似と比較して性能にどのような影響があるか？
• RQ5 FPFの汎用性は、多様な制御ベンチマークにわたる一般化能力をどの程度高めるか？

主な発見

• FPFは方策計算後に対数時間オーダーでの行動選択を達成し、リアルタイムでの組み込み制御システムに適していることが確認された。
• インバーテッドペンドulumのスイングアップタスクにおいて、FPFはFQI や BAS よりも優れた性能を示した。特に確率的環境下では顕著で、最良の方策が100ステップで累積報酬-101を達成した。
• 500回の評価エピソードにおける報酬分布は高いばらつきを示し、最良の方策は最悪のものと比べて顕著に優れていた。これは、複数の方策を生成した際の高い信頼性を示している。
• FPF:PWL（区分線形方策近似）は3つのベンチマークのうち2つでFPF:PWC（区分定数近似）を上回り、残りの1つでは同等の性能を示した。最適方策がバン・バン型であっても、堅牢な性能を維持していることが示された。
• FPFとMREの組み合わせにより、パrameterチューニングなしに効果的な探索が可能となり、ε-greedy手法が失敗する問題においても、ほぼ最適な解を一貫して見つけられた。
• 本手法の汎用性は、3つの異なるベンチマークで検証され、問題固有の関数基底の設計を必要とせず、強力な性能を示した。