[論文レビュー] Meta-Reinforcement Learning in Broad and Non-Parametric Environments

Zhenshan Bing, Lukas Knak+3 more|arXiv (Cornell University)|Aug 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 4

ひとこと要約

本論文では、タスク推論にガウス型変分オートエンコーダー（VAE）を用い、タスクダイナミクスをモデル化するためにゲート付き再帰ユニット（GRU）を用いる、メタ強化学習アルゴリズムTIGRを提案する。この手法は、非パラメトリックかつ非定常なタスクに対してゼロショット適応を可能にし、非パラメトリック環境における動的タスクシフトにおいて、最先端の手法と比較して3–10倍の高速なサンプル効率と優れた漸近的性能を達成する。

ABSTRACT

Recent state-of-the-art artificial agents lack the ability to adapt rapidly to new tasks, as they are trained exclusively for specific objectives and require massive amounts of interaction to learn new skills. Meta-reinforcement learning (meta-RL) addresses this challenge by leveraging knowledge learned from training tasks to perform well in previously unseen tasks. However, current meta-RL approaches limit themselves to narrow parametric task distributions, ignoring qualitative differences between tasks that occur in the real world. In this paper, we introduce TIGR, a Task-Inference-based meta-RL algorithm using Gaussian mixture models (GMM) and gated Recurrent units, designed for tasks in non-parametric environments. We employ a generative model involving a GMM to capture the multi-modality of the tasks. We decouple the policy training from the task-inference learning and efficiently train the inference mechanism on the basis of an unsupervised reconstruction objective. We provide a benchmark with qualitatively distinct tasks based on the half-cheetah environment and demonstrate the superior performance of TIGR compared to state-of-the-art meta-RL approaches in terms of sample efficiency (3-10 times faster), asymptotic performance, and applicability in non-parametric environments with zero-shot adaptation.

研究の動機と目的

• 既存のメタ強化学習手法が狭いパラメトリックかつ定常なタスク分布を仮定しているという限界を解消すること。
• タスク固有のファインチューニングを必要とせずに、前向き走行、後退走行、ジャンプなど、質的に異なる非パラメトリックなタスクへ迅速に適応できること。
• テスト時だけでなく、推論中に発生する非定常なタスク変化に対してもゼロショット適応を可能にすること。
• モデルフリーでオフポリシーな強化学習と、非教師付きタスク推論を組み合わせることで、データ効率と一般化性能を向上させること。
• 半チーターとアンチのようなロボット制御環境における非パラメトリックタスク一般化のベンチマークを確立すること。

提案手法

• TIGRは、タスクの多モード分布を明示的にモデル化するため、ガウス型変分オートエンコーダー（VAE）を用いる。これにより、タスク間の質的差異を捉えることができる。
• VAEを事前学習によりM DPの再構築を目的とした非教師付き再構築目的関数を用いて学習することで、タスク推論とポリシー学習を分離する。
• ゲート付き再帰ユニット（GRU）を用いて、最近の遷移履歴を処理し、リアルタイムでタスクIDを推論することで、非定常なタスク変化への動的適応を可能にする。
• ポリシーは、VAEとGRUによって推論されるタスク条件付き潜在コードを用いて、SAC（ソフトアクタクリティック）をオフポリシーで訓練する。
• 各タイムステップで、最新の遷移履歴からの特徴を用いてタスク推論を実行することで、新しいタスクモードへの即時適応が可能になる。
• 異なる動きの目的（例：半チーター環境における前向き走行、後退走行、ゴール到達、ひっくり返し）を別々のタスクタイプとして表現するため、8つのクラスタを持つマルチコンポonent VAEを用いる。

実験結果

リサーチクエスチョン

• RQ1 メタ強化学習エージェントは、前向き走行対後退走行、ジャンプ対旋回など、質的に異なる非パラメトリックなタスクに一般化可能か？
• RQ2 再トレーニングを必要とせずに、推論中に発生する非定常なタスク変化に対してもゼロショット適応が可能か？
• RQ3 タスク推論に生成的モデル（VAE）を用いることで、ガウス型タスク埋め込み手法と比較して、サンプル効率および漸近的性能が向上するか？
• RQ4 TIGRは、高次元の非パラメトリックな変動を示す環境において、最先端のメタ強化学習ベースラインと比較してどのように性能を発揮するか？
• RQ5 メタトレーニング中にM DPの非教師付き再構築が、複雑で多様なタスク分布における下流のポリシー学習を効果的に支援できるか？

主な発見

• TIGRは、非パラメトリック環境において、PEARL や MAML などの最先端手法と比較して、3–10倍の高速なサンプル効率を達成する。
• アルゴリズムは、特にゼロショット適応のシナリオにおいて、顕著に向上した漸近的性能を示す。
• TIGRは、半チーター環境において、前向き/後退走行、ゴール到達、ひっくり返しを含む8つの明確に異なる非パラメトリックタスクに一般化に成功している。
• マルチモードVAEの使用により、タスク変化が推論中に動的に発生しても、質的に異なる行動間で正確なタスク推論が可能である。
• 最新の遷移履歴からのリアルタイムGRUベースのタスク推論に依存するゼロショット適応メカニズムにより、再トレーニングなしに即座にタスクシフトに応答できる。
• 実験結果から、TIGRは、修正版半チーターおよびアンチ環境を含む複数の非パラメトリックベンチマークにおいて、サンプル効率および最終性能の両面で、既存手法を上回ることが示された。