[論文レビュー] Variational Inference MPC for Bayesian Model-based Reinforcement Learning

Masashi Okada, Tadahiro Taniguchi|arXiv (Cornell University)|Jul 8, 2019

Reinforcement Learning in Robotics参考文献 38被引用数 29

ひとこと要約

本稿では、CEM などの確率的モデル予測制御（MPC）手法を統一的かつ不確実性を考慮した形で再定式化するベイジアンフレームワーク、Variational Inference MPC（VI-MPC）を提案する。Probabilistic Action Ensembles with Trajectory Sampling（PaETS）を導入し、ガウス・ミックスチャネル・モデル（GMM）を用いてマルチモーダルなアクション不確実性をモデル化することで、MuJoCoの歩行タスクにおいてPETSに比べて漸近的性能が著しく向上した。

ABSTRACT

In recent studies on model-based reinforcement learning (MBRL), incorporating uncertainty in forward dynamics is a state-of-the-art strategy to enhance learning performance, making MBRLs competitive to cutting-edge model free methods, especially in simulated robotics tasks. Probabilistic ensembles with trajectory sampling (PETS) is a leading type of MBRL, which employs Bayesian inference to dynamics modeling and model predictive control (MPC) with stochastic optimization via the cross entropy method (CEM). In this paper, we propose a novel extension to the uncertainty-aware MBRL. Our main contributions are twofold: Firstly, we introduce a variational inference MPC, which reformulates various stochastic methods, including CEM, in a Bayesian fashion. Secondly, we propose a novel instance of the framework, called probabilistic action ensembles with trajectory sampling (PaETS). As a result, our Bayesian MBRL can involve multimodal uncertainties both in dynamics and optimal trajectories. In comparison to PETS, our method consistently improves asymptotic performance on several challenging locomotion tasks.

研究の動機と目的

• 既存の不確実性を考慮したMBRL手法が最適軌道におけるマルチモーダルな不確実性をモデル化できないという限界を解消すること。
• CEM、MPPI、CMA-ESなどの確率的MPC手法を、統一的なベイジアン変分推論フレームワークに統合すること。
• ダイナミクスと最適軌道の両方における不確実性を組み込むことで、困難な歩行タスクにおけるMBRLの漸近的性能を向上させること。
• PETSへのシンプルで効果的な拡張を提案し、計算コストの増加を伴わずにサンプル効率と一般化性能を向上させること。

提案手法

• MPCを変分推論として定式化する新しいVI-MPCフレームワークを提案し、ベイジアンMBRLの枠組み下で軌道最適化を事後分布の近似問題として扱う。
• 確率的MPC手法を最適軌道事後分布のモーメントマッチング手順に再定式化することで、統一的なベイジアン解釈を可能にする。
• アクション上での不確実性をマルチモーダルに捉えるために、カテゴリカル混合モデル（GMM）を変分分布として用いるVI-MPCの具体例であるPaETSを導入する。
• 勾配ベース最適化によるエンドツーエンド学習を可能にするために、微分可能なGMMに基づく変分分布 $ q(\mathbf{a}; \phi) $ を用いる。
• GMMを再パラメトリゼーションすることで、変分パラメータの勾配逆伝播を可能にし、効率的な最適化を実現する。
• 探索を促進し、アクションアンサンブルの多様性を向上させるためにエントロピー正則化を適用し、マルチモーダルな不確実性モデリングと相乗効果を発揮する。

実験結果

リサーチクエスチョン

• RQ1 CEM や MPPI などの確率的MPC手法を、ベイジアン変分推論フレームワークの下で体系的に統一できるか？
• RQ2 最適軌道におけるマルチモーダルな不確実性のモデリングが、MBRLにおける漸近的性能の向上に寄与するか？
• RQ3 GMMに基づく変分分布を用いてダイナミクスとアクション軌道の両方の不確実性を組み込むことで、既存の不確実性を考慮したMBRLベースラインを上回る性能が得られるか？
• RQ4 最適性定義（例：CEM 対 MPPI）や正則化重みの選択が、異なるタスクにおける性能にどのように影響するか？

主な発見

• PaETSは、Ant、HalfCheetah、Walker2dを含む複数のMuJoCo歩行タスクでPETSベースラインを一貫して上回り、統計的に有意な改善（p < 0.01）を示した。
• 本手法はPETSに比べて高い漸近的性能を達成しており、マルチモーダルなアクション不確実性のモデリングがポリシー学習とサンプル効率の向上に寄与することを示した。
• 実験から、PaETSにおけるGMMの成分数M=5が最良の性能を示し、効果的なマルチモーダル表現には中程度のアンサンブルサイズで十分であることが示された。
• 正則化重み $ \kappa $ にはタスク依存の最適値があり、値が高すぎたり低すぎたりすると性能が低下する傾向にあり、ハイパーパramータチューニングに敏感であることが示された。
• 提案されたVI-MPCフレームワークはタスク間で良好な一般化性能を示し、MPPIに基づく最適性がAntのような一部の環境では、通常のCEMを上回る性能を発揮しており、タスクに応じた最適性選択の有効性が示された。
• PETSと比較して計算コストの顕著な増加がなく、既存のMBRLパイプラインへの実用的かつスケーラブルな拡張であることが示された。