[論文レビュー] Learning and Planning in Complex Action Spaces

Thomas Hubert, Julian Schrittwieser+4 more|arXiv (Cornell University)|Apr 13, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 10

ひとこと要約

この論文では、全行動の列挙が不可能な高次元・連続的・構造的行動空間における強化学習のための一般化されたフレームワーク、Sampled MuZero を提案する。行動を列挙するのではなくサンプリングすることで、行動空間を扱う。MuZero の計画ループにサンプルベースのポリシー評価と改善を統合することで、離散的（Go）および連続的制御ベンチマーク（DeepMind Control Suite、Real-World RL Suite）の両方で優れた性能を達成し、K=5 の行動サンプルでさえも、先行手法を上回る。

ABSTRACT

Many important real-world problems have action spaces that are high-dimensional, continuous or both, making full enumeration of all possible actions infeasible. Instead, only small subsets of actions can be sampled for the purpose of policy evaluation and improvement. In this paper, we propose a general framework to reason in a principled way about policy evaluation and improvement over such sampled action subsets. This sample-based policy iteration framework can in principle be applied to any reinforcement learning algorithm based upon policy iteration. Concretely, we propose Sampled MuZero, an extension of the MuZero algorithm that is able to learn in domains with arbitrarily complex action spaces by planning over sampled actions. We demonstrate this approach on the classical board game of Go and on two continuous control benchmark domains: DeepMind Control Suite and Real-World RL Suite.

研究の動機と目的

• 高次元・連続的・構造的行動空間を有する環境に対して、モデルベース強化学習を適用する課題に対処すること。全行動の列挙が非現実的であるため。
• サンプルされた行動部分集合についてのポリシー評価と改善を体系的に行うフレームワークを構築し、局所的なサンプリングにもかかわらずグローバルなポリシー性能を保証すること。
• サンプルベースの計画メカニズムを用いて MuZero アルゴリズムを拡張し、複雑な行動空間を扱えるようにすることで、現実世界の制御タスクへの応用を可能にすること。
• 連続的制御および部分観測可能な環境を含む多様なベンチマークにおいて、手法の頑健性とスケーラビリティを実証すること。

提案手法

• 全行動を列挙する代わりに、小さなサンプル行動サブセットを用いてポリシー評価と改善を行うサンプルベースのポリシー反復フレームワークを提案する。
• 学習の安定性とサンプル効率の向上を図るため、行動方針 $π_{\beta}$ を組み込んだ修正版 PUCT 公式を導入する。
• サンプルベースのフレームワークを MuZero のモデルベース計画ループに統合し、グローバルなポリシー最適化を維持しながら、サンプルされた行動の上での計画を可能にする。
• 学習済みの環境モデルを用いて、サンプルされた行動からの軌道をロールアウトすることで、推論時における環境とのインタラクションなしに長距離計画を実現する。
• LSTM を用いて部分観測性を扱う共通アーキテクチャを用いて、離散的（Go）および連続的（dmControl, RWRL）制御タスクにこの手法を適用する。
• オフポリシー学習と分布的 Q 関数推定を活用し、高次元行動空間におけるサンプル効率と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 全列挙なしに、サンプルベースのポリシー反復フレームワークを複雑な行動空間に効果的に適用できるか？
• RQ2 行動のサンプリングがモデルベース計画におけるポリシー評価と改善に与える影響は何か？ そして、理論的に整合性を持たせることは可能か？
• RQ3 サンプリングを用いることで、MuZero アルゴリズムを連続的および高次元行動空間に拡張可能か？ また、サンプル効率と性能を維持できるか？
• RQ4 少ないサンプル数（例：K=5）に対しても、この手法は頑健か？ また、多様な環境に一般化可能か？
• RQ5 PUCT 公式における行動方針 $\pi_{\beta}$ の使用は、主ポリシー $\pi$ を直接使用する場合と比較して、安定性と性能を向上させるか？

主な発見

• Sampled MuZero は DeepMind Control Suite で最先端の性能を達成し、D4PG や DMPO をすべてのタスクで上回った。特に 56 次元のヒューマノイドにおいて、環境との相互作用回数が 10 倍以上少ない状態で優れた性能を発揮した。
• Real-World RL ベンチマークでは、Sampled MuZero は DMPO、D4PG、STACX をすべての難易度レベルで大きく上回った。特に高次元のヒューマノイドタスクでは、エイジリーブ（easy）で 289.36、ミディアム（medium）で 108.56、ハード（hard）で 1.19 のスコアを達成した。
• K=5 のサンプル行動数でさえも、高いサンプル効率と複雑な行動空間へのスケーラビリティを示した。
• 安定性解析の結果、PUCT 公式に $\hat{\pi}_{\beta}$ を使用した場合、$\pi$ を直接使用する場合と比較して、著しく高い頑健性と再現性が得られた。
• Sampled MuZero は、行動繰り返しや観測再構築、ハイパーパramータチューニングなしに、raw pixel 入力からのみ 21 次元のヒューマノイドを制御する能力を学習し、高い性能を達成した。
• 直接比較の結果、Sampled MuZero は DeepMind Control Suite のすべてのタスクで Dreamer エージェントと同等またはそれを上回った。行動繰り返しや観測再構築を一切使用していないにもかかわらずである。