[論文レビュー] Active Reinforcement Learning with Monte-Carlo Tree Search

Sebastian Schulze, Owain Evans|arXiv (Cornell University)|Mar 13, 2018

Advanced Bandit Algorithms Research参考文献 26被引用数 6

ひとこと要約

本稿では、表形式MDPにおけるクエリコストと報酬獲得のバランスを取るための、モンテカルロ木探索（MCTS）に基づくアルゴリズムであるBAMCP++を提案する。モデルフリーの学習器をMCTSのロールアウトに統合することで、BAMCP++は漸近的ベイズ最適性を達成し、大規模MDPにおいて、ARLに特化したヒューリスティクスを用いたモデルフリーのベースラインを上回る性能を示し、小規模な問題ではほぼ最適に近い性能を発揮し、スケーラビリティにも優れている。

ABSTRACT

Active Reinforcement Learning (ARL) is a twist on RL where the agent observes reward information only if it pays a cost. This subtle change makes exploration substantially more challenging. Powerful principles in RL like optimism, Thompson sampling, and random exploration do not help with ARL. We relate ARL in tabular environments to Bayes-Adaptive MDPs. We provide an ARL algorithm using Monte-Carlo Tree Search that is asymptotically Bayes optimal. Experimentally, this algorithm is near-optimal on small Bandit problems and MDPs. On larger MDPs it outperforms a Q-learner augmented with specialised heuristics for ARL. By analysing exploration behaviour in detail, we uncover obstacles to scaling up simulation-based algorithms for ARL.

研究の動機と目的

• 報酬の観測にコストがかかるアクティブ強化学習（ARL）における探索の課題に対処すること。これは、標準的なRL手法が最適でなくなるためである。
• 表形式MDPにおけるARLを、不確実性下での体系的計画を可能にするベイズ適応MDP問題として形式化すること。
• 標準的なMCTSやヒューリスティクスに基づくアプローチの制限を克服し、漸近的にベイズ最適なポリシーを達成するシミュレーションベースのアルゴリズムを開発すること。
• より知的なモデルフリー探索戦略をMCTSのロールアウトに統合することで、大規模MDPにおける実用的性能を向上させること。

提案手法

• 本稿では、未知の報酬に関する事後分布を維持するエージェントが、期待リターンからクエリコストを差し引いたものを最大化するように計画する、ベイズ適応MDPにおける計画にARLを還元する。
• クエリコストをリターン計算に組み込み、報酬信念をベイズ更新によって改善することで、BAMCPアルゴリズム（ベイズ適応MDPのためのモデルベースMCTS）をARLに拡張する。
• BAMCP++は、Q学習ベースの推定器を用いてシミュレーション経路をガイドするモデルフリーのロールアウト方策を導入し、報酬の活用を向上させ、ランダムなロールアウトへの依存を低減する。
• 木の選択には上位信頼区間（UCB）を用い、共役事前分布を用いて報酬の事後分布を維持することで、効率的なベイズ更新を可能にする。
• BAMCP++のロールアウトは、学習されたQ値推定値に従ってガイドされるため、シミュレーションが長期的リターンをよりよく予測でき、無駄なクエリを減らすことができる。
• 公平な比較のため、各MDPクラスごとにハイパーパrameterを調整し、さまざまなホライズンと状態行動空間を持つ複数のMDPで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 表形式MDPにおけるARLは、クエリコスト下での最適な探索を達成するために、ベイズ適応MDPにおける計画問題に形式的に還元可能か？
• RQ2 ベイズ更新を組み込んだMCTSベースの計画は、ARLにおいて漸近的にベイズ最適なポリシーを生み出すことができるか？
• RQ3 MCTSにおけるロールアウト方策の選択が、特に大規模MDPにおける性能に与える影響は何か？
• RQ4 モデルフリーのロールアウト戦略は、ARLシミュレーションにおいてランダムまたはヒューリスティクスベースのロールアウトを上回る性能を発揮できるか？
• RQ5 BAMCP++は、ARLに特化した探索ヒューリスティクスを備えたモデルフリーARLアルゴリズムと比較して、総報酬とクエリ効率の両面で優れているか？

主な発見

• BAMCP++は、Early ForkやLate Forkといった小規模MDPにおいてほぼ最適な性能を発揮し、Late4-30では平均報酬28.2、Early4-30では25.9を記録し、これらの設定でMCCHやFirst-Nを上回った。
• 25個のランダムMDPにおいて、BAMCP++は平均報酬60.2（標準偏差8.8）を達成し、Rand-25ベンチマークでMCCH（48.5）やFirst-N（55.7）を顕著に上回った。
• 15のアクションと100ステップのホライズンを持つ大規模MDPにおいて、BAMCP++はARLに特化したヒューリスティクスを備えたモデルフリーのベースラインを上回った。特に、高ホライズン設定（例：Early5-50）では、MCCH（39.3）やFirst-N（42.9）と比較して、BAMCP++は32.9の報酬を達成した。
• ハイパーパrameterの設定にかかわらず、BAMCP++の性能は安定しており、First-Nと同様に、さまざまなクエリ予算において一貫した性能を示した。一方、MCCHはチューニングなしでは性能が著しく劣った。
• BAMCP++がモデルフリーのロールアウト方策を採用することで、シミュレーションの質が著しく向上し、より良い長期的リターン推定と、より効率的なクエリ選択が可能になった。
• 長期間ホライズン（例：Late5-50）におけるBAMCP++の相対的性能の低下は、1ステップあたりのMCTSシミュレーション数が限られていることに起因しており、シミュレーションベースのARLアルゴリズムにおけるスケーリングの課題を示している。