[論文レビュー] The LoCA Regret: A Consistent Metric to Evaluate Model-Based Behavior in Reinforcement Learning

Harm van Seijen, Hadi Nekoei+2 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics参考文献 19被引用数 4

ひとこと要約

本論文では、局所的環境変化へのエージェントの適応速度を測定することで、モデルベース強化学習における行動を評価する新しい指標であるローカル・チェンジ適応レジスト（LoCAレジスト）を導入する。この手法により、MuZeroのような最先端のエージェントですら、最適なモデルベースの適応に対して著しく劣っていることが明らかになった。これは、単一タスクにおける高いサンプル効率を示しても、適応性に大きな欠陥があることを示しており、現在の指標では捉えきれていない重要なギャップを示している。

ABSTRACT

Deep model-based Reinforcement Learning (RL) has the potential to substantially improve the sample-efficiency of deep RL. While various challenges have long held it back, a number of papers have recently come out reporting success with deep model-based methods. This is a great development, but the lack of a consistent metric to evaluate such methods makes it difficult to compare various approaches. For example, the common single-task sample-efficiency metric conflates improvements due to model-based learning with various other aspects, such as representation learning, making it difficult to assess true progress on model-based RL. To address this, we introduce an experimental setup to evaluate model-based behavior of RL methods, inspired by work from neuroscience on detecting model-based behavior in humans and animals. Our metric based on this setup, the Local Change Adaptation (LoCA) regret, measures how quickly an RL method adapts to a local change in the environment. Our metric can identify model-based behavior, even if the method uses a poor representation and provides insight in how close a method's behavior is from optimal model-based behavior. We use our setup to evaluate the model-based behavior of MuZero on a variation of the classic Mountain Car task.

研究の動機と目的

• モデルベース強化学習（RL）手法を評価するための一貫性があり、行動に根ざした指標の欠如に取り組むこと。
• 表現学習や探索の要因とは独立して、モデルベースの行動を分離し、測定すること。
• RLエージェントが最適なモデルベースの適応にどれほど近いかを定量的にベンチマーク化すること。
• 高単一タスクサンプル効率が、環境変化への強靭な適応性を意味するわけではないことを示すこと。
• 実世界の応用に向け、より適応性の高いモデルベースRLエージェントの今後の開発を支援すること。

提案手法

• タスクが状態空間の小さな領域でのみ異なる2タスクの環境を設計し、それぞれに異なる最適方策を必要とする。
• LoCAレジストを、最初のタスクから2番目のタスクへの局所的変化に伴う適応期間中に発生する累積レジストとして定義する。
• 表形式のベースラインを用いて、理想的なモデルベース性能の上限を確立し、比較の基準とする。
• 変更されたマウンテンカ環境において、ハイパーパrameterを変化させながら、MuZeroとSarsa(λ)に対してLoCAレジスト指標を適用する。
• 環境変更後の時間経過に伴うレジストの推移を追跡することで適応速度を測定し、低いレジストはより速く、よりモデルベースの適応を示す。
• 最適なモデルベースベースラインとの比較に、相対的利得指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 現在の深層モデルベースRL手法は、単一タスクのサンプル効率とは無関係に、局所的環境変化にどれほど適応できるか？
• RQ2 適応速度として測定されるモデルベース行動は、標準ベンチマークにおける最先端性能とどの程度相関するか？
• RQ3 MuZeroのような手法におけるハイパーパrameterや内部設計の選択が、局所的変化への迅速な適応能力を妨げる要因は何か？
• RQ4 表現が悪い状況下でも、LoCAレジスト指標はモデルベース行動とモデルフリー行動を信頼性高く区別できるか？
• RQ5 オンポリシー部品の導入は、環境変化への適応能力にどのように影響するか？

主な発見

• MuZeroのLoCAレジスト（K=3, ε=0.1のとき）は、最適なモデルベースベースライン（1.0）に対して顕著に高く、適応性の向上に大きな余地があることを示している。
• 最も優れた性能を示したMuZeroの設定（ε=0.2）でも、相対的利得は3.25にとどまり、最適なモデルベース行動からまだ大きく離れている。
• 計画ホライズンKを3から5に増加させても、デフォルトレジストは改善するが、LoCAレジストは改善せず、適応速度への恩恵は限定的であることが示された。
• ε ≥ 0.6のとき、MuZeroは収束しなかった。これは、探索用ハイパーパrameterが学習と適応能力に顕著に影響を与えることを示している。
• Sarsa(λ)はLoCAレジストで著しく低い（12.55）結果を示し、モデルフリーの性質と変化への迅速な適応の欠如を確認した。
• 結果から、高単一タスクサンプル効率が、強力なモデルベースの適応性を意味するわけではないことが明らかになった。これは、現在のSOTA手法に関する仮定に疑問を呈するものである。