[論文レビュー] Data-Efficient Reinforcement Learning in Continuous-State POMDPs

Rowan McAllister, Carl Edward Rasmussen|arXiv (Cornell University)|Feb 8, 2016

Energy Efficient Wireless Sensor Networks参考文献 7被引用数 4

ひとこと要約

この論文は、データ効率的な PILCO アルゴリズムを、観測不能な状態を含むマルコフ決定過程（POMDP）に拡張する。信念状態フィルタリングを軌道予測に統合することで、観測ノイズ下でも頑健な制御が可能となる。動的モデルの不確実性を動的プロセスとフィルタリングプロセスの両方に伝搬させることで、特に非線形でノイズの多い環境（例：カートポールのスイングアップタスク）において、フィルタリングを施さない方策最適化よりも顕著に高い性能を達成する。

ABSTRACT

We present a data-efficient reinforcement learning algorithm resistant to observation noise. Our method extends the highly data-efficient PILCO algorithm (Deisenroth & Rasmussen, 2011) into partially observed Markov decision processes (POMDPs) by considering the filtering process during policy evaluation. PILCO conducts policy search, evaluating each policy by first predicting an analytic distribution of possible system trajectories. We additionally predict trajectories w.r.t. a filtering process, achieving significantly higher performance than combining a filter with a policy optimised by the original (unfiltered) framework. Our test setup is the cartpole swing-up task with sensor noise, which involves nonlinear dynamics and requires nonlinear control.

研究の動機と目的

• 部分観測性とセンサーノイズ下での強化学習におけるデータ非効率性とモデルバイアスを解消すること。
• 非常にデータ効率的なモデルベース強化学習アルゴリズムである PILCO を、フィルタリングを統合することで POMDP 環境に拡張すること。
• センサーノイズが非線形系の性能を低下させるのを防ぐために、完全観測を仮定するのではなく、フィルタリングプロセスを通じた軌道予測を実施すること。
• 動的モデルの不確実性を動的プロセスだけでなく信念状態にも伝搬させることで、データが少ない状況でもモデルバイアスを低減し、データ効率を維持すること。

提案手法

• 不確実性下でのシステム軌道予測を可能にする、確率的動的モデルとベイジアンフィルタリングを組み合わせた信念状態動的モデルを提案する。
• ガウス近似を用いたモーメントマッチング技術を用いて、信念平均と共分散を解析的に計算し、EKF よりも近似誤差を低減する。
• 信念状態と動的モデルの両方にわたる結合分布を導入することで、フィルタリングと方策評価の両方における不確実性伝搬を可能にする。
• 動的モデルの事後分布の期待値を用いて、信念平均、入出力共分散、信念分散の解析的表現を導出する。
• 信念状態動的モデルを逆伝播可能にすることで、信念状態を介したポリシー勾配最適化を実現し、エンドツーエンドの頑健な方策学習を可能にする。
• システムを表現するために確率的カーネルベースの動的モデル（ガウス過程）を採用し、すべての妥当な動的関数に対する周辺化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 観測ノイズに対して頑健性を保ちつつ、POMDP にデータ効率的なモデルベース強化学習アルゴリズムを拡張できるか？
• RQ2 実行時のみにフィルタリングを行うのではなく、軌道予測段階にフィルタリングを統合することで、方策性能が向上するか？
• RQ3 動的プロセスと信念状態の両方に不確実性を伝搬させることで、データが少ない状況におけるモデルバイアスがどのように低減されるか？
• RQ4 動的モデルの事後分布を完全に推論することで、非線形かつ部分観測可能なシステムにおける性能にどのような影響を与えるか？
• RQ5 ノイズのある観測を持つ非線形系において、解析的な信念状態予測を効率的に導出できるか？

主な発見

• 中程度のセンサーノイズ下でも、提案手法は標準的な PILCO よりも顕著に高い性能を達成し、カートポールのスイングアップタスクにおいてより高い頑健性を示した。
• 予測段階でフィルタリングを考慮した方策最適化は、実行時のみにフィルタリングを行う手法よりも優れている。これにより、未フィルタリング／予測された状態の不一致が解消された。
• モーメントマッチングを用いた解析的信念状態予測は、特に高い非線形性下で、拡張カルマンフィルターよりも近似誤差が低減された。
• すべての妥当な動的モデルに対する周辺化により、データが少ない状況でもモデルバイアスを低減でき、データ効率性を維持した。
• 実験結果から、予測段階でのフィルタリングにより、観測ノイズが方策を不安定化させる状況でもカートポール系の安定制御が可能であることが示された。