[論文レビュー] Meta Reinforcement Learning with Latent Variable Gaussian Processes

Steindór Sæmundsson, Katja Hofmann+1 more|arXiv (Cornell University)|Mar 20, 2018

Gaussian Processes and Bayesian Inference参考文献 34被引用数 105

ひとこと要約

本論文は、潜在変数ガウス過程を用いてタスクのばらつきを捉えるモデルベースのメタ強化学習アプローチを提案し、オンライン潜在推定とMPC計画を可能にし、データ効率の大幅な向上と新しいタスクへの転移を実現する。

ABSTRACT

Learning from small data sets is critical in many practical applications where data collection is time consuming or expensive, e.g., robotics, animal experiments or drug design. Meta learning is one way to increase the data efficiency of learning algorithms by generalizing learned concepts from a set of training tasks to unseen, but related, tasks. Often, this relationship between tasks is hard coded or relies in some other way on human expertise. In this paper, we frame meta learning as a hierarchical latent variable model and infer the relationship between tasks automatically from data. We apply our framework in a model-based reinforcement learning setting and show that our meta-learning model effectively generalizes to novel tasks by identifying how new tasks relate to prior ones from minimal data. This results in up to a 60% reduction in the average interaction time needed to solve tasks compared to strong baselines.

研究の動機と目的

• 確率的でモデルベースのRL設定の中でメタ学習を位置づけ、関連するダイナミクス系間で知識を転移させる。
• タスク仕様の潜在表現に条件づけられたダイナミクスモデルを学習する。
• 変分推論とスパースGP法を用いてオンラインの潜在変数適応とデータ効率の良い計画を実現する。
• cart-poleおよびdouble-pendulumタスクで転移とFew-shot学習の有効性を実証する。

提案手法

• 潜在タスク変数 h_p に条件づけられたガウス過程でダイナミクスをモデル化し、x_{t+1} = f(x_t, c_t, h_p) + ε を満たす where ε ~ N(0,E)。
• 状態分布のガウス近似を用いて期待される有限ホライズンコストを最小化することで制御シーケンスを計画するためにMPCを採用する。
• グローバルなダイナミクスを p(h_p) から抽出された潜在埋め込み h_p によって表現し、軌道中に収集されたデータからオンラインで h_p を推定する。
• スパースGP（誘導点）を用いた変分推論でGP fと潜在変数Hの事後を近似し、多数のタスクにまたがるスケーラブルな学習を可能にする。
• q(H)とq(U)のKL項を含むEvidence Lower Bound (ELBO)を最適化する階層ベイズモデルで訓練する。
• リアルタイム適応のためにミニバッチ確率的最適化（Adam）とオンライン潜在変数更新を活用する。

実験結果

リサーチクエスチョン

• RQ1 GPを潜在変数で条件づけると、グローバルなダイナミクスとタスク固有のダイナミクスを分離できるか？
• RQ2 潜在埋込みは未知のタスク構成に一般化して予測性能を向上させるか？
• RQ3 関連タスク間でモデルベースRLにおけるデータ効率をML-GPアプローチは向上させるか？
• RQ4 推定された潜在埋込みは、長さや質量などの意味あるタスク構造をどれだけ反映しているか（振り子系の例）？

主な発見

• ML-GPは unseen tasks で予測RMSEとNLLにおいてスパースGPベースラインおよび標準GPを上回る。
• 学習された潜在埋込みはタスク固有のばらつきをグローバルなダイナミクスから分離し、潜在空間に解釈可能な構造を持つ。
• データ効率の良いRLにおいて、ML-GPは独立して訓練されたモデル（SGP-I）より学習が速く相互作用時間が短く、新しいダイナミクスへの適応ではSGP-MLを上回る。
• cart-poleおよびdouble-pendulumタスク全体で、ML-GPは総トレーニング時間とテスト時間を短縮し、転移/少数ショット性能に優れる。
• 限られた観測から推定された潜在埋込みは、将来の状態予測とMPCの指示に有益である。