[論文レビュー] When to use parametric models in reinforcement learning?

Hado van Hasselt, Matteo Hessel+1 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 39被引用数 62

ひとこと要約

本論文は、パラメトリックモデルが強化学習において経験リプレイより有利になる条件を分析し、多くの条件でリプレイが競争力を持つか、場合によってはそれを上回ることを示す。特に、モデルを、モデルフリー更新のための想像的遷移の生成にのみ使用する場合にそうなる。これをAtariで検証し、プランニングの方向性、失敗モード、および安定性について論じる。

ABSTRACT

We examine the question of when and how parametric models are most useful in reinforcement learning. In particular, we look at commonalities and differences between parametric models and experience replay. Replay-based learning algorithms share important traits with model-based approaches, including the ability to plan: to use more computation without additional data to improve predictions and behaviour. We discuss when to expect benefits from either approach, and interpret prior work in this context. We hypothesise that, under suitable conditions, replay-based algorithms should be competitive to or better than model-based algorithms if the model is used only to generate fictional transitions from observed states for an update rule that is otherwise model-free. We validated this hypothesis on Atari 2600 video games. The replay-based algorithm attained state-of-the-art data efficiency, improving over prior results with parametric models.

研究の動機と目的

• RLにおけるパラメトリックモデルと経験リプレイの利点と制約を明確にする。
• パラメトリックモデルを用いたプランニングが学習や方策改善に寄与する条件を特徴づける。
• モデルベースまたはリプレイベースのプランニングにおける安定性と失敗モードに関する理論的・経験的指針を提供する。
• 大規模なAtari実験におけるデータ効率を検討し、モデルベースとリプレイベースのアプローチを比較する。

提案手法

• 明示的なプランニング手順を通じてモデルベース学習とリプレイベース学習を統合する汎用的なモデルベース強化学習アルゴリズム（アルゴリズム1）を提示する。
• 同値性の理論的議論と致命的な三位一体のような失敗モードの可能性を含む、パラメトリックモデルとリプレイの比較を行う。
• 振る舞いの前方計画とクレジット割り当ての後方計画というプランニング方向を分析し、格子世界環境での実証実験を含む。
• リプレイ時とモデルベース生成遷移時のTD更新の安定性を論じ、モデルベース計画における発散に関する命題を提示する。
• データ効率的な regime において、SimPLe（モデルベース）とRainbow DQN（リプレイベース）をAtari 2600ゲームで評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックモデルは強化学習においてリプレイを超える学習利得を提供する条件は何か。
• RQ2 学習済みモデルを用いた前方計画と後方計画は、学習効率と安定性の点でどのように比較されるか。
• RQ3 Atariのような複雑なタスクにおいて、データ・計算効率の良い regimeでリプレイベース手法がモデルベース手法を上回ることはあり得るか。

主な発見

• リプレイベースの学習はAtariで最先端のデータ効率を達成でき、同程度のデータ予算の下で従来のパラメトリックモデルの結果を上回る。
• 同等条件での比較は、Rainbow DQNがデータ効率と計算においてモデルベースのエージェントを上回ることを示し、モデルベース優越性の仮定に挑戦した。
• 学習済みモデルを用いた後方計画は、モデルが不完全な場合に特に、クレジット割り当てにおいて前方計画より効果的であることがあり得る。
• 行動のための前方計画は有用な場合もあるが、特定の文脈ではリプレイより信頼性のある利益をもたらさないことがある。 不完全なモデルでのプランニングは、実際の遷移に使用すると有害な更新を招く可能性がある。
• 理論上はモデルベース手法は不安定になり得る（致命的な三位一体）、一方で観測遷移を用いるリプレイは、一般的なリプレイ分布下でより安定しがちである。