[論文レビュー] Robust Reinforcement Learning in POMDPs with Incomplete and Noisy Observations

Yuhui Wang, Hao He+1 more|arXiv (Cornell University)|Feb 15, 2019

Machine Learning and ELM参考文献 13被引用数 9

ひとこと要約

本稿では、観測が不完全でノイズが多い部分的に観測可能なマルコフ意思決定過程（POMDP）における連続的制御のための頑健な強化学習手法であるBI-PPOを提案する。ノイズが多く欠落した観測からの遷移モデルの学習に、局所近似を用いたサーロゲート損失を用い、信念更新に生成モデルを統合することで信念補完を実現する。特に、HalfCheetah や Ant といった高次元タスクにおいて、高いノイズ率や欠落率の下でも、ベースライン手法を著しく上回る性能を発揮する。

ABSTRACT

In real-world scenarios, the observation data for reinforcement learning with continuous control is commonly noisy and part of it may be dynamically missing over time, which violates the assumption of many current methods developed for this. We addressed the issue within the framework of partially observable Markov Decision Process (POMDP) using a model-based method, in which the transition model is estimated from the incomplete and noisy observations using a newly proposed surrogate loss function with local approximation, while the policy and value function is learned with the help of belief imputation. For the latter purpose, a generative model is constructed and is seamlessly incorporated into the belief updating procedure of POMDP, which enables robust execution even under a significant incompleteness and noise. The effectiveness of the proposed method is verified on a collection of benchmark tasks, showing that our approach outperforms several compared methods under various challenging scenarios.

研究の動機と目的

• 実世界の連続的制御環境において、観測が動的に不完全またはノイズによって損なわれる状況下で、頑健な強化学習エージェントを訓練する課題に対処すること。
• 完全な観測に依存せずに、欠落やノイズのあるセンサ入力に対しても正確な信念状態を維持するモデルベースのアプローチを開発すること。
• 標準的なPPO やRNNベースの手法が観測の損なわれた状況で失敗する高次元制御タスクにおいて、サンプル効率と性能を向上させること。
• 生成モデルを信念状態の更新に統合することで、著しいデータ不完全性下でも安定的かつ信頼性の高いポリシー学習を実現すること。

提案手法

• 不完全でノイズの多い観測からM DPの遷移モデルを推定するために、局所近似を用いた新規のサーロゲート損失関数を提案し、頑健なダイナミクス学習を可能にする。
• 訓練時および推論時において、欠落した状態成分を生成モデルを用いて予測する信念補完メカニズムを導入する。
• 生成モデルをPOMDPの信念更新プロセスにスムーズに統合し、履歴観測と行動に基づいて精錬された信念状態からポリシーが意思決定できるようにする。
• BI-PPOとして、PPOに類似したモデルベースのフレームワークを採用し、補完された信念状態を用いてポリシー、価値関数、遷移モデルを同時に学習する。
• ポリシーネットの入力として信念状態を用い、潜在状態の後方分布を表す。この信念状態は、生成モデルと観測データを用いて再帰的に更新される。
• 非i.i.d. で損なわれた観測に対処するため、サーロゲート損失に局所近似を適用し、遷移ダイナミクスの学習における一般化性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 観測が動的に不完全でノイズが多い状況下でも、モデルベースの強化学習手法がPOMDPで頑健な性能を達成できるか？
• RQ2 生成モデルによる信念補完は、単純な補完や損なわれた観測からの直接的行動と比較して、ポリシー性能をどの程度向上させるか？
• RQ3 局所近似を用いた提案されたサーロゲート損失は、不完全でノイズの多いデータからの遷移モデル学習をどの程度改善するか？
• RQ4 信念補完を介して遷移モデルとポリシーを同時に学習することは、標準的なPPO やRNNベースのベースラインと比較して、より優れたサンプル効率と最終的な性能を達成できるか？

主な発見

• HalfCheetah, Ant, Hopper, Walker2d において、高い欠落率とノイズ率の下でも、BI-PPOはEI-PPO, DR-PPO, ADR-PPOを著しく上回る性能を発揮し、特に高次元制御タスクで顕著な優位性を示す。
• HalfCheetah と Ant において、BI-PPOはそれぞれ元のPPOの最大エピソード報酬の268%および120%を達成し、顕著な性能向上を示す。
• BI-PPOは優れたサンプル効率を示し、HalfCheetah, Hopper, InvertedDoublePendulum, Reacher において、PPO や EI-PPO よりも少ないタイムステップで目標性能に到達する。
• 真の潜在状態とのMSEで測定した補完状態の精度は報酬性能と強く相関しており、信念補完メカニズムの有効性を裏付けている。
• 実行時間の計算量はO(T(D(1−η))³)と scales するが、平均して1エピソードあたり5.1秒で実行可能であり、その頑健性と性能向上を考慮すると妥当な水準である。
• 50%の観測が欠落または損なわれても、BI-PPOは強力な性能を維持するが、DR-PPO や ADR-PPO を含む他の手法はそのような条件下で著しく性能を低下させる。