[論文レビュー] The Value Equivalence Principle for Model-Based Reinforcement Learning

Christopher Grimm|arXiv (Cornell University)|Nov 6, 2020

Reinforcement Learning in Robotics参考文献 42被引用数 11

ひとこと要約

本論文は、価値ベースの計画における有用性を重視し、正確な状態遷移予測よりもモデルの正確性を優先する、モデルベース強化学習のためのフレームワーク「価値同等の原則」を導入する。特定の方策と価値関数の集合に対して同じベルマン更新を生成するモデルを同等と定義することで、性能を維持しつつもより単純で効率的なモデルが可能になる。このアプローチは、MuZero や価値反復ネットワークなどの手法における理論的・実験的裏付けを伴う。

ABSTRACT

Learning models of the environment from data is often viewed as an essential component to building intelligent reinforcement learning (RL) agents. The common practice is to separate the learning of the model from its use, by constructing a model of the environment's dynamics that correctly predicts the observed state transitions. In this paper we argue that the limited representational resources of model-based RL agents are better used to build models that are directly useful for value-based planning. As our main contribution, we introduce the principle of value equivalence: two models are value equivalent with respect to a set of functions and policies if they yield the same Bellman updates. We propose a formulation of the model learning problem based on the value equivalence principle and analyze how the set of feasible solutions is impacted by the choice of policies and functions. Specifically, we show that, as we augment the set of policies and functions considered, the class of value equivalent models shrinks, until eventually collapsing to a single point corresponding to a model that perfectly describes the environment. In many problems, directly modelling state-to-state transitions may be both difficult and unnecessary. By leveraging the value-equivalence principle one may find simpler models without compromising performance, saving computation and memory. We illustrate the benefits of value-equivalent model learning with experiments comparing it against more traditional counterparts like maximum likelihood estimation. More generally, we argue that the principle of value equivalence underlies a number of recent empirical successes in RL, such as Value Iteration Networks, the Predictron, Value Prediction Networks, TreeQN, and MuZero, and provides a first theoretical underpinning of those results.

研究の動機と目的

• 正確な状態遷移予測を求める従来のモデルベース強化学習の非効率性と不正確さに対処すること。
• 価値ベースの計画における有用性に基づいてモデルの質を再定義する新しい原則「価値同等」を提案すること。
• モデルが関連する方策と価値関数のベルマン更新を保持していれば、完全なダイナミクスを捉える必要がないことを示すこと。
• この原則が MuZero や価値反復ネットワークといった最近の成功した強化学習アーキテクチャの背後にある根拠であることを示すこと。
• このようなモデルがより単純であるにもかかわらず、より複雑な類似モデルと同等の性能を発揮できる理論的根拠を提供すること。

提案手法

• 与えられた方策と価値関数の集合に対して同じベルマン更新をもたらすモデルの間で価値同等を定義すること。
• 価値同等のモデルの空間上で最適化を定式化することで、完全なダイナミクスの正確性の必要性を低減すること。
• 代表的な方策と価値関数の集合を用いてモデル空間を制約し、関数と方策を追加するごとに徐々に縮小すること。
• 方策と関数の集合が大きくなるにつれて、価値同等のモデルの集合が一つの完璧なモデルに収束することを示すこと。
• 制限された表現能力のもとで、最大尤度推定よりも単純で効率的なモデルの設計にこの原則を適用すること。
• Catch、Four Rooms、Cart-pole といった環境で実験を行い、標準的なモデル学習手法と比較して本手法の有効性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 正確な状態遷移予測ではなく、価値ベースの計画における有用性に注目することで、モデル学習を改善できるか？
• RQ2 方策と価値関数の選択が、実現可能な価値同等モデルの集合にどのように影響するか？
• RQ3 完全なダイナミクスモデルではなく価値同等を用いる場合、モデルの複雑さと性能のトレードオフはどのようになるか？
• RQ4 メモリと計算量を減らすことで、従来のモデルベース強化学習よりも効率的に、価値同等モデルが同等または優れた性能を達成できるか？
• RQ5 価値同等の原則は、MuZero や価値反復ネットワークといった最近の成功事例を統一的に説明する理論的根拠を提供できるか？

主な発見

• 価値同等のモデルは、完全なダイナミクスモデルと同等の性能を達成しながら、著しく少ないメモリと計算量で実現できる。
• 方策と価値関数の集合が大きくなるにつれて、価値同等のモデルクラスは縮小し、最終的に唯一の完璧なモデルに収束する。
• 表現能力が制限された環境では、適切な方策と関数ベースに基づく価値同等モデルが、最大尤度推定を上回る性能を発揮する。
• Catch、Four Rooms、Cart-pole における実験では、価値同等モデル学習が最大尤度推定などの従来手法と同等またはそれ以上の性能を達成している。
• 価値同等の原則は、MuZero や価値反復ネットワーク、TreeQN といったアーキテクチャの成功を統一的に説明する理論的基盤を提供する。
• モデルが完全な環境ダイナミクスを捉えていなくても、関連するベルマン更新を保持していれば、効率的な計画が可能になる。