[論文レビュー] Bayesian Policy Optimization for Model Uncertainty

Gilwoo Lee, Brian Hou+4 more|arXiv (Cornell University)|Oct 1, 2018

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本稿では、潜在モデルパラメータの信念分布を考慮して推論することで、連続的ベイズ適応マルコフ決定過程（BAMDP）のためのポリシーを直接学習するバッチポリシー最適化手法であるベイジアンポリシーオプティマイゼーション（BPO）を提案する。ニューラルネットワークにおける状態と信念の符号化を分離し、オフライン学習中にブラックボックス・ベイズフィルタを用いることで、信念に依存しないロバスト強化学習手法を上回り、モデルの不確実性を伴う連続制御ベンチマークで最先端のPOMDPソルバーよりも優れた性能を達成する。

ABSTRACT

Addressing uncertainty is critical for autonomous systems to robustly adapt to the real world. We formulate the problem of model uncertainty as a continuous Bayes-Adaptive Markov Decision Process (BAMDP), where an agent maintains a posterior distribution over latent model parameters given a history of observations and maximizes its expected long-term reward with respect to this belief distribution. Our algorithm, Bayesian Policy Optimization, builds on recent policy optimization algorithms to learn a universal policy that navigates the exploration-exploitation trade-off to maximize the Bayesian value function. To address challenges from discretizing the continuous latent parameter space, we propose a new policy network architecture that encodes the belief distribution independently from the observable state. Our method significantly outperforms algorithms that address model uncertainty without explicitly reasoning about belief distributions and is competitive with state-of-the-art Partially Observable Markov Decision Process solvers.

研究の動機と目的

• システムのダイナミクスや報酬が部分的に未知である連続制御環境におけるモデルの不確実性に対処すること。
• 点推定に依存するのではなく、潜在パラメータ上の信念分布を明示的に扱う、スケーラブルでエンドツーエンドの深層強化学習手法を構築すること。
• 連続的BAMDPにおける信念空間の指数的増大を、効率的な信念状態表現とポリシー学習によって克服すること。
• 信念状態上で直接ポリシー最適化を行うことで、モンテカルロツリー探索や点ベースの価値関数近似よりもスケーラブルでありながら、最先端のPOMDPソルバーよりも競争力のある性能を達成できることを示すこと。

提案手法

• BPOは、エージェントが潜在モデルパラメータの事後分布をブラックボックス・ベイズフィルタを用いて維持する連続的BAMDPとして問題を定式化する。
• ポリシーネットワークは、状態と信念の統合入力を扱い、状態と信念の表現を分離するための別個のエンコーダーを備えることで、次元削減を図る。
• オフライン学習中、BPOは複数のサンプルされた潜在モデルを介してポリシーをシミュレートし、行動や観測に分岐せずに、シミュレートされた軌道に沿って信念を更新する。
• バッチポリシー最適化（例：TRPO）を活用して、信念の不確実性下での期待される長期報酬を最大化するように、ベイジアン価値関数を直接最適化する。
• 連続的潜在パラメータ空間の離散化により信念表現を構築し、信念ベクトルは状態埋め込みとは独立に符号化される。
• 本手法はポリシー最適化アルゴリズムの選択に依存せず、PPOのような現代的な手法との統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 点推定に依存せず、価値関数の近似を明示的に行わずに、連続的BAMDPにおいてベイジアン価値関数を直接最適化するエンドツーエンドの深層ポリシーネットワークを学習可能か？
• RQ2 モデルの不確実性が存在する状況において、信念に配慮したポリシー学習は、モデルパラメータの最尤推定（MLE）を用いる手法と比べてどのように差がつくか？
• RQ3 独立した状態と信念の符号化は、高次元の信念空間における次元の呪いをどの程度緩和できるか？
• RQ4 潜在パラメータの不確実性を伴う連続制御ベンチマークにおいて、BPOは最先端のPOMDPソルバーよりも競争力のある性能を達成できるか？

主な発見

• BPOは、HalfCheetah環境においてEPOptとUP-MLEを著しく上回り、さまざまなMDPにおける平均報酬が高くなる。
• Ant環境では、UP-MLEよりもBPOが信念エントロピーをより速く低下させ、信念分布が単峰性に収束するまでの時間が短くなる。
• BPOは、価値関数近似やツリー探索を用いずとも、連続制御ベンチマークで最先端のPOMDPソルバーよりも競争力のある性能を達成する。
• 潜在パラメータ空間の離散化が進むに従ってスケーラビリティが向上するが、最適な離散化レベルを超えると性能が低下する傾向にあり、適応的解像度の必要性が示唆される。
• 信念が素早く収束する環境（例：ノイズが小さい決定的システム）では、非信念ベース手法（例：UP-MLE）ですら良好な性能を示すため、信念推論は特に収束が遅いか、高い不確実性を伴う状況で最も重要であることが示唆される。