[論文レビュー] VFunc: a Deep Generative Model for Functions

Philip Bachman, Riashat Islam+2 more|arXiv (Cornell University)|Jul 11, 2018

Reinforcement Learning in Robotics参考文献 32被引用数 7

ひとこと要約

VFuncは、関数と潜在変数の連合分布を学習する深層生成モデルを提案する。変分推論を用いることで、関数空間における不確実性推定を可能にし、潜在変数を介した関数サンプリングにより強化学習における多様でエントロピーの高い方策と回帰における不確実性の高精度な定量化を実現する。パrameter空間のベイズ的手法に比べ、探索性と多様性の面で優れる。

ABSTRACT

We introduce a deep generative model for functions. Our model provides a joint distribution p(f, z) over functions f and latent variables z which lets us efficiently sample from the marginal p(f) and maximize a variational lower bound on the entropy H(f). We can thus maximize objectives of the form E_{f~p(f)}[R(f)] + c*H(f), where R(f) denotes, e.g., a data log-likelihood term or an expected reward. Such objectives encompass Bayesian deep learning in function space, rather than parameter space, and Bayesian deep RL with representations of uncertainty that offer benefits over bootstrapping and parameter noise. In this short paper we describe our model, situate it in the context of prior work, and present proof-of-concept experiments for regression and RL.

研究の動機と目的

• モデルのパrameterではなく関数そのものに対して不確実性を直接捉える生成モデルの開発。
• 下流タスクに適した関数の周辺分布 $p(f)$ からの効率的なサンプリングを可能にする。
• 強化学習における探索性と多様性を促進するために、エントロピー $H(f)$ の変分下界を最大化する。
• ガウス過程やベイズニューラルネットワークの代替として、ディープラーニングにおける不確実性推定にスケーラブルな手法を提供する。
• 回帰と強化学習への適用可能性を、概念実証実験を用いて示す。

提案手法

• モデルは、$p(f,z) = p(f|z)p(z)$ という連合分布を定義し、$z$ を簡単な事前分布 $p(z)$ から抽出する。
• 関数は、入力領域全体にわたる関数サンプリングを可能にするために、サンプリングされた潜在変数 $z$ を条件として持つニューラルネットワーク $p(y|x,z)$ を用いて生成される。
• 関数空間におけるエントロピーの変分下界を、確率的勾配変分推論を用いて最大化することで、関数空間内の多様性を促進する。
• 回帰では、データの対数尤度とエントロピー正則化項が目的関数に含まれる。強化学習では、期待報酬と方策エントロピーの最大化が含まれる。
• 潜在変数を補間することで、グリッドワールド環境における方策のシフトなど、関数挙動の滑らかな遷移を可視化する。
• 状態訪問頻度と関数補間を用いて、方策の多様性と不確実性表現の質を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、モデルパラメータではなく関数の不確実性を効果的に表現できるか？
• RQ2 潜在変数に条件付けられたサンプリングは、回帰および強化学習タスクにおいて多様で意味のある関数を生成できるか？
• RQ3 関数空間におけるエントロピーの最大化は、強化学習における探索性と方策の多様性をどの程度向上させるか？
• RQ4 潜在空間における補間によって示されるように、低データ領域における有意義な不確実性推定が可能か？
• RQ5 複雑な環境（例：ダブルスリット迷路）において、潜在変数はどのように異なる戦略をエンコードしているか？

主な発見

• 回帰において、訓練データが少ない領域では不確実性が高くなることが、図1の補間関数から明らかになった。
• ダブルスリットグリッドワールドでは、潜在変数を補間することで滑らかな方策遷移が得られ、$\alpha$ の増加に伴い方策が一方のスリットから他方のスリットにシフトした。
• エントロピー最大化により、グリッドワールドで16の多様な方策が生成され、それぞれが目的地点へ至る異なる経路をたどった。状態訪問頻度の可視化で示された。
• モデルは、4部屋とパチンコ環境において、複数の明確に異なる戦略を学習し、異なる $z$ 値が異なるナビゲーションルートに対応していることを示した。
• 潜在空間の補間により、$z$ が関数挙動の意味的で連続的な変化をエンコードしていることが明らかになった。特に、ダブルスリット迷路におけるスリット間の方策遷移が再現された。
• ブートストラップやパrameterノイズに依存せず、効果的な不確実性定量化と方策の多様性を達成し、標準的手法を凌駆する探索性能を示した。