[論文レビュー] Cover Tree Bayesian Reinforcement Learning

Nikolaos Tziortziotis, Christos Dimitrakakis+1 more|arXiv (Cornell University)|May 8, 2013

Reinforcement Learning in Robotics参考文献 60被引用数 15

ひとこと要約

本稿では、連続的状態空間のデータに依存する分割を構築するためにカバー木を用いる非パラメトリックなベイズ手法、Cover Tree Bayesian Reinforcement Learning (CTBRL) を提案する。これにより、区分的線形ガウスモデルを用いた効率的なオンライン推論が可能となる。トフュソンサンプリングと近似動的プログラミングを組み合わせることで、ガウス過程、線形モデル、LSPIと比較して、オンラインおよびオフラインの両実験において優れたサンプル効率性と安定性を達成する。

ABSTRACT

This paper proposes an online tree-based Bayesian approach for reinforcement learning. For inference, we employ a generalised context tree model. This defines a distribution on multivariate Gaussian piecewise-linear models, which can be updated in closed form. The tree structure itself is constructed using the cover tree method, which remains efficient in high dimensional spaces. We combine the model with Thompson sampling and approximate dynamic programming to obtain effective exploration policies in unknown environments. The flexibility and computational simplicity of the model render it suitable for many reinforcement learning problems in continuous state spaces. We demonstrate this in an experimental comparison with least squares policy iteration.

研究の動機と目的

• 未知のダイナミクスを有する連続的状態強化学習における効率的な探索と推論の課題に対処すること。
• オンライン学習と不確実性を考慮した意思決定を可能にする、スケーラブルな非パラメトリックなベイズモデルの開発。
• ガウス過程や線形モデルなどの既存手法と比較して、サンプル効率性と安定性の向上。
• 柔軟な区分的線形モデル構造内でのトフュソンサンプリングを用いた効果的な探索の実現。

提案手法

• メトリックに基づく階層を用いて、状態空間を再帰的に分割するカバー木を採用し、対数時間オーダーの推論を可能にする。
• 一般化されたコンテキストツリー・モデルを用いて、区分的線形ガウスモデルの事前分布を定義し、閉形式でのベイズ更新を可能にする。
• モデルの事後分布からサンプリングすることでトフュソンサンプリングを用いて探索を実行し、探索と活用の最適なバランスを促進する。
• 価値関数推定から方策を計算するために、近似動的プログラミング（ADP）とモデルを統合する。
• カバー木の各リーフノードに多変量線形モデルを用いて、局所的なダイナミクスと報酬を表現する。
• 新しい遷移が観測されるたびにモデルを段階的に更新することで、オンライン学習をサポートし、計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 データに依存する構造を持つ非パラメトリックなベイズモデルは、連続的状態強化学習におけるサンプル効率性を向上させ得るか？
• RQ2 カバー木による分割に基づく区分的線形モデルと組み合わせたトフュソンサンプリングは、どのように機能するか？
• RQ3 ガウス過程と比較して、カバー木構造は高次元状態空間におけるスケーラブルな推論を可能にするか？
• RQ4 線形モデルやGPベースのRLと比較して、CTBRLの安定性と累積報酬はどのように異なるか？
• RQ5 GPの事後分布からの直接的な関数サンプリングが不可能であるにもかかわらず、CTBRLはオンラインおよびオフライン設定の両方で優れた性能を維持できるか？

主な発見

• CTBRLは、オンラインおよびオフラインのベンチマークタスクにおいて、ガウス過程ベースのRL、線形ベイズモデル、LSPIを常に上回った。
• 特にオンライン設定において、競合手法と比較して顕著に高い累積報酬と高い安定性を達成した。
• CTBRLと組み合わせたトフュソンサンプリングは、理論的に不利なオフライン実験でも優れた探索を実現した。
• 線形モデルベースラインは、GP-RLとCTBRLの両方よりも劣った性能を示したため、成功の鍵はカバー木構造にあり、線形モデルそのものではないことが示された。
• カバー木推論の対数時間複雑性のおかげで、高次元空間におけるスケーラビリティと効率性が実証された。
• GPモデルにおける直接的なトフュソンサンプリングが不可能であるにもかかわらず、CTBRLは依然としてそれらを上回った。これは、モデル構造と推論効率の利点が顕著に表れていることを示唆している。