[論文レビュー] Recurrent Model-Free RL is a Strong Baseline for Many POMDPs

Tianwei Ni, Benjamin Eysenbach+1 more|arXiv (Cornell University)|Oct 11, 2021

Fuzzy Logic and Control Systems被引用数 8

ひとこと要約

この論文は、部分的に観測可能な環境における記憶を扱うために再帰的ニューラルネットワークを用いる、注意深く設計された再帰的モデルフリー強化学習エージェントが、特定のPOMDPタイプに対して特化したアルゴリズムと同等またはそれ以上の性能を示すことを示している。著者らは、メタ強化学習、ロバスト強化学習、一般化タスクの分野における強力で汎用的なベースラインとしてこのアプローチを確立している。

ABSTRACT

Many problems in RL, such as meta RL, robust RL, and generalization in RL, can be cast as POMDPs. In theory, simply augmenting model-free RL with memory, such as recurrent neural networks, provides a general approach to solving all types of POMDPs. However, prior work has found that such recurrent model-free RL methods tend to perform worse than more specialized algorithms that are designed for specific types of POMDPs. This paper revisits this claim. We find that careful architecture and hyperparameter decisions yield a recurrent model-free implementation that performs on par with (and occasionally substantially better than) more sophisticated recent techniques in their respective domains. We also release a simple and efficient implementation of recurrent model-free RL for future work to use as a baseline for POMDPs. Code is available at https://github.com/twni2016/pomdp-baselines

研究の動機と目的

• 再帰的モデルフリー強化学習が、さまざまなPOMDPに対して強固で汎用的なベースラインとして機能できるかどうかを調査すること。
• POMDPにおいて特化したアルゴリズムが一般的手法を上回るとされる一般的な認識に挑戦すること。
• 再帰的モデルフリー強化学習の性能を著しく向上させるアーキテクチャ的およびハイパーパrameter的選択を同定すること。
• 今後のPOMDP研究のためのシンプルで効率的かつ再利用可能な実装を提供すること。
• 記憶拡張付きモデルフリー強化学習が、メタ強化学習、ロバスト強化学習、一般化タスクにおいて最先端の結果と同等またはそれを上回ることを実証すること。

提案手法

• 部分観測性を扱えるように、履歴を捉える隠れ状態を保持する再帰的ニューラルネットワーク（RNN）を用いる。
• RNNベースの方策および価値関数を用いて、標準的なモデルフリー強化学習アルゴリズム（例：PPO、SAC）を適用する。
• 訓練の安定化を図るため、ハイパーパrameterの精密なチューニングおよびアーキテクチャ的選択（例：残差接続、正規化）を実施する。
• 経験再生を用いた方策勾配法またはオフポリシー法により、RNN方策をエンドツーエンドで訓練する。
• メタ強化学習、ロバスト強化学習、一般化タスクを含む多様なPOMDPベンチマークで性能を検証する。
• 再現性および今後のベースライン用途のため、GitHubに軽量で効率的な実装を公開する。

実験結果

リサーチクエスチョン

• RQ1 汎用的な再帰的モデルフリー強化学習エージェントは、POMDPにおいて特化したアルゴリズムを上回ることができるか？
• RQ2 再帰的モデルフリー強化学習で優れた性能を達成するために、どのようなアーキテクチャ的およびハイパーパrameter的選択が重要か？
• RQ3 メタ強化学習、ロバスト強化学習、一般化タスクにおいて、再帰的モデルフリー強化学習は最先端の手法とどのように比較されるか？
• RQ4 一つの統一されたアーキテクチャが、多様なPOMDP設定において強力なベースラインとして機能できるか？
• RQ5 RNNベースの方策ネットワークの注意深い設計により、訓練の安定性および性能にどのような向上が達成できるか？

主な発見

• 再帰的モデルフリー強化学習エージェントは、複数のPOMDPベンチマークで特化したアルゴリズムと同等またはそれ以上の性能を達成した。
• 適切なアーキテクチャ設計とハイパーパrameterチューニングにより、再帰的モデルフリー強化学習は、メタ強化学習、ロバスト強化学習、一般化タスクの分野で競争力のあるベースラインとなった。
• 特に一般化およびロバストネスの設定において、特化したベースラインを上回る性能を示した。
• 著者らは、従来の再帰的モデルフリー強化学習の性能不足は、本質的な制限によるものではなく、実装が不適切だったことが原因であると実証した。
• 公開されたコードベースは、今後のPOMDP研究のための信頼性があり、効率的で再利用可能なベースラインを提供する。
• 結果から、記憶拡張付きモデルフリー強化学習は、POMDPのデフォルトベースラインとして再考されるべきであると示唆される。