[論文レビュー] PlaNet of the Bayesians: Reconsidering and Improving Deep Planning Network by Incorporating Bayesian Inference

Masashi Okada, Norio Kosaka+1 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 9

ひとこと要約

この論文では、深層計画ネットワーク（PlaNet）のベイジアン拡張として、モデルと行動の不確実性をニューラルネットワークアンサンブルを用いて不確実性を組み込むことで、部分的に観測可能な環境における性能を向上させるPlaNet-Bayesを提案する。変分推論MPC（VI-MPC）とPaETSの潜在変数版を統合することで、不確実性の定量化とマルチモーダル計画が向上し、PlaNetに比べてより優れた漸近的性能を達成する。

ABSTRACT

In the present paper, we propose an extension of the Deep Planning Network (PlaNet), also referred to as PlaNet of the Bayesians (PlaNet-Bayes). There has been a growing demand in model predictive control (MPC) in partially observable environments in which complete information is unavailable because of, for example, lack of expensive sensors. PlaNet is a promising solution to realize such latent MPC, as it is used to train state-space models via model-based reinforcement learning (MBRL) and to conduct planning in the latent space. However, recent state-of-the-art strategies mentioned in MBRR literature, such as involving uncertainty into training and planning, have not been considered, significantly suppressing the training performance. The proposed extension is to make PlaNet uncertainty-aware on the basis of Bayesian inference, in which both model and action uncertainty are incorporated. Uncertainty in latent models is represented using a neural network ensemble to approximately infer model posteriors. The ensemble of optimal action candidates is also employed to capture multimodal uncertainty in the optimality. The concept of the action ensemble relies on a general variational inference MPC (VI-MPC) framework and its instance, probabilistic action ensemble with trajectory sampling (PaETS). In this paper, we extend VI-MPC and PaETS, which have been originally introduced in previous literature, to address partially observable cases. We experimentally compare the performances on continuous control tasks, and conclude that our method can consistently improve the asymptotic performance compared with PlaNet.

研究の動機と目的

• 部分的に観測可能な環境におけるPlaNetの限界を、不確実性に配慮したアプローチで解消すること。
• 近似的なベイジアン推論を用いてモデル不確実性を組み込むことで、訓練および計画の性能を向上させること。
• 確率的行動アンサンブルを用いてマルチモーダルな行動不確実性をモデリングすることで、計画のロバストネスを向上させること。
• VI-MPCおよびPaETSフレームワークを、部分的に観測可能なマルコフ決定過程における潜在空間計画に拡張すること。
• 不確実性に配慮したモデリングが、ベースラインのPlaNetに比べて一貫した性能向上をもたらすことを示すこと。

提案手法

• 潜在動的モデルにおけるモデル不確実性を捉えるために、モデルパラメータθの近似的な事後分布推論を、ニューラルネットワークアンサンブルを用いて行う。
• 潜在空間計画のための変分推論MPC（VI-MPC）を定式化し、軌道最適化を事後分布推論問題として扱う。
• ガウス・ミックス・モデル（GMMs）を変分分布として用いる潜在空間バージョンのPaETSを導入し、マルチモーダルな最適行動不確実性をモデリングする。
• 潜在動的モデルのアンサンブルと最適行動のアンサンブルを同時に学習することで、モデル不確実性と行動不確実性を統合し、軌道サンプリングを実現する。
• 不確実性に配慮した軌道サンプリングを用いた交差エントロピー法（CEM）を適用し、計画のロバストネスを向上させる。
• 連続的制御タスクにフレームワークを適用し、ベースラインのPlaNetおよびアブレーションバージョンと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 近似的なベイジアン推論によるモデル不確実性の組み込みが、部分的に観測可能な環境におけるPlaNetの漸近的性能を向上させることができるか？
• RQ2 潜在空間におけるマルチモーダルな行動不確実性のモデリングが、計画性能にどのように影響を与えるか？
• RQ3 モデル不確実性と行動不確実性の併用が、単独での不確実性モデリングよりも優れた性能をもたらすか？
• RQ4 VI-MPCおよびPaETSフレームワークが、部分的に観測可能な設定における潜在空間計画に成功裏に拡張可能か？
• RQ5 提案された不確実性に配慮した手法が、PlaNetのヒューリスティックなCEMベースの計画と固定点モデル推定に比べてより効果的か？

主な発見

• PlaNet-Bayesは、連続的制御タスク全体において、ベースラインのPlaNetに比べて一貫して優れた漸近的性能を達成する。
• ニューラルネットワークアンサンブルを用いたモデル不確実性の組み込みにより、PlaNetに比べて測定可能な性能向上が得られる。
• 行動不確実性のみをモデリングしても、同時にモデル不確実性が存在しないとマルチモーダルな表現力が得られず、性能向上は見られない。
• モデル不確実性と行動不確実性の統合的モデリングにより、PaETSの全潜在的利点が活用され、最良の性能が達成される。
• 動画予測の結果、PlaNet-Bayesは多様で不確実性に配慮した軌道予測を生成し、過学習を低減させ、能動的探索を促進する。
• アブレーションスタディの結果、両方の種類の不確実性が最適な性能を達成するために不可欠であり、ガウス変分近似よりもアンサンブルベースのアプローチが優れていることが確認された。