[論文レビュー] VariBAD: A Very Good Method for Bayes-Adaptive Deep RL via Meta-Learning

Luisa Zintgraf, Kyriacos Shiarlis+5 more|arXiv (Cornell University)|Oct 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 62

ひとこと要約

VariBADは、タスク埋め込みを推定して未知の環境で近似的にベイズ最適探索を行うベイズ変分適応型deep RLフレームワークをメタ学習する。これによりオンライン適応とリターンの向上を実現する。

ABSTRACT

Trading off exploration and exploitation in an unknown environment is key to maximising expected return during learning. A Bayes-optimal policy, which does so optimally, conditions its actions not only on the environment state but on the agent's uncertainty about the environment. Computing a Bayes-optimal policy is however intractable for all but the smallest tasks. In this paper, we introduce variational Bayes-Adaptive Deep RL (variBAD), a way to meta-learn to perform approximate inference in an unknown environment, and incorporate task uncertainty directly during action selection. In a grid-world domain, we illustrate how variBAD performs structured online exploration as a function of task uncertainty. We further evaluate variBAD on MuJoCo domains widely used in meta-RL and show that it achieves higher online return than existing methods.

研究の動機と目的

• 未知の環境における探索と利用のトレードオフを動機づけ、メタ学習を通じてベイズ近似最適行動に近づく。
• 特権的なタスク情報を必要とせず、深層RLの近似ベイズ最適探索を扱いやすい方法で開発する。
• 関連するMDP群全体の不確実性を捉えるタスク埋め込み潜在空間を学習し、それを用いて方策を条件付ける。
• タスク不確実性の下でオンライン推論と行動選択を行うために、変分推論とメタ学習を組み合わせる。

提案手法

• 各タスクを、MDP埋め込みを捉える低次元の確率的潜在変数mで表現する。
• エージェントの経験からオンラインで後方分布q_phi(m|tau_{:t})を推定するために、変分オートエンコーダを用いる。
• 現在の状態と行動から過去・未来の状態および報酬を予測するデコーダを訓練して埋め込みを学習する。
• 推定されたMDP埋め込みの後方分布q_phi(m|tau_{:t})を用いて方策pi_psi(a_t|s_t, q_phi(m|tau_{:t}))を条件付ける。
• オンライン変分推論におけるELBO項とRL損失を結合した結合目的関数を最適化する（式10）。
• 実践上、トレーニングを安定化し効率を向上させるために、エンコーダへRL損失をバックプロパゲーションしない。）

実験結果

リサーチクエスチョン

• RQ1 特権的なタスク情報なしに、学習済みのタスク潜在埋め込みは深層RLにおけるベイズ適応探索を可能にするか。
• RQ2 MDP埋め込みに対するメタ学習済み変分推論は、既存のメタRL手法と比べて近似のベイズ最適探索とオンラインリターンの向上をもたらすか。
• RQ3 VAE風エンコーダを通じたタスク不確実性のオンライン推論は、単純なグリッドワールドとMuJoCo領域の両方で性能を向上させるか。
• RQ4 メタトレーニングとテスト中にタスク固有の埋め込みを推定しつつ、報酬/遷移モデルをタスク間で共有することは可能か。

主な発見

• VariBADはグリッドワールドでベイズ最適性能に非常に近い探索行動を達成し、後方サンプリングを上回る。
• MuJoCoの連続制御タスクでは、VariBADは1回のロールアウト内で適応し、RL^2のような競合するメタRL手法より高いオンラインリターンをもたらす。
• 本手法は、タスク埋め込みの意味ある潜在空間を学習し、タスク識別後に集中する（分散低下、平均が安定）。
• 推定されたタスク不確実性によって駆動される構造化されたオンライン探索を示し、訓練時に特権的なタスク情報に依存するベースラインを、いくつかの設定で上回る。