[論文レビュー] Uncertainty-sensitive Learning and Planning with Ensembles

Piotr Miłoś, Łukasz Kuciński+3 more|arXiv (Cornell University)|Dec 19, 2019

AI-based Problem Solving and Planning被引用数 2

ひとこと要約

本論文は、報酬が疎であり、難易度の高い環境における探索を改善するために、価値関数アンサンブルとモンテカルロツリー探索（MCTS）計画を統合した強化学習フレームワークを提案する。エピステミック・アンサンブル分散を用いた不確実性モデリングとリスク感受性関数を適用することで、計画の効率性と価値関数学習の両方が向上し、Deep-sea、Toy Montezuma’s Revenge、Sokobanベンチマークで高速な収束と性能向上を達成した。

ABSTRACT

We propose a reinforcement learning framework for discrete environments in which an agent makes both strategic and tactical decisions. The former manifests itself through the use of value function, while the latter is powered by a tree search planner. These tools complement each other. The planning module performs a local extit{what-if} analysis, which allows to avoid tactical pitfalls and boost backups of the value function. The value function, being global in nature, compensates for inherent locality of the planner. In order to further solidify this synergy, we introduce an exploration mechanism with two distinctive components: uncertainty modelling and risk measurement. To model the uncertainty we use value function ensembles, and to reflect risk we use propose several functionals that summarize the implied by the ensemble. We show that our method performs well on hard exploration environments: Deep-sea, toy Montezuma's Revenge, and Sokoban. In all the cases, we obtain speed-up in learning and boost in performance.

研究の動機と目的

• Sokoban や Deep-sea のような報酬が疎で複雑性の高い環境におけるサンプル効率性と探索の課題に対処すること。
• 木探索に不確実性を考慮した価値関数アンサンブルを統合することで、計画のロバスト性を向上させること。
• アンサンブルベースの不確実性モデリングとヘインズ・リラベルリングを用いて、価値関数学習を強化すること。
• 計画が探索を導き、価値関数が計画者の限界を補正するという相乗効果を持つフレームワークを構築すること。

提案手法

• エピステミック不確実性をモデル化するため、価値ネットワークのアンサンブルを用い、予測は学習可能なヘッドネットワークで集約する。
• MCTSにおける探索を誘導するために、アンサンブル分散の関数的特性（リスク測度）を適用し、不確実性の高い状態を優先する。
• MCTSを価値関数のロールアウトと統合し、計画者の探索履歴を用いて価値関数学習のターゲットを生成する。
• 価値関数学習のサンプル効率性を向上させるために、優先順位付き経験再生とヘインズ・リラベルリングを採用する。
• 固定された軌道上で価値関数を学習し、失敗したエピソードから追加の正例を生成するためにリラベルリングを実施する。
• 学習済み環境モデル上で動作する計画者を用いる、ハイブリッドなモデルフリーとモデルベースのアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルベースの不確実性モデリングは、報酬が疎な環境における探索を改善できるか？
• RQ2 価値関数アンサンブルに基づくリスク感受性計画は、学習速度と性能にどのような影響を与えるか？
• RQ3 計画者が生成する軌道を統合することで、価値関数学習はどの程度向上するか？
• RQ4 モデルフリーの価値学習とモデルベースの計画を組み合わせることで、単独のアプローチよりも優れた結果が得られるか？
• RQ5 アンサンブルによる不確実性評価は、Sokoban のような組み合わせ的に複雑な環境でも、より効果的な探索を可能にするか？

主な発見

• 本手法は、Deep-sea、Toy Montezuma’s Revenge、Sokoban 環境で学習の高速化と性能向上を顕著に達成した。
• Sokoban の転移学習において、アンサンブルサイズを 2 から 3 に増加させたことで、性能が約 10–12% 向上した。
• アンサンブルベースの不確実性とリスク測度の適用により、より効果的な探索が実現され、ランダム探索への依存が減少した。
• 価値関数アンサンブルは単一ネットワークを上回り、アンサンブルサイズが大きくなるほど性能が向上した。
• 計画者の探索履歴を価値関数学習に統合することで、学習効率とサンプル利用効率が向上した。
• より大きなニューラルネットワークアーキテクチャ（5層CNN）は、より小さなアーキテクチャ（4層）よりも優れた一般化性能を示し、複雑なタスクにおける能力の重要性を示唆した。