[論文レビュー] Policy Gradient in Partially Observable Environments: Approximation and Convergence

Kamyar Azizzadenesheli, Yisong Yue+1 more|arXiv (Cornell University)|Oct 18, 2018

Reinforcement Learning in Robotics参考文献 41被引用数 10

ひとこと要約

本稿は、部分的に観測可能なマルコフ意思決定過程（POMDP）における方策勾配法の拡張を、新しいアドバンテージ関数と理論的ツールを導入することで実現する。これにより、信頼領域法およびプロキシマル方策最適化（TRPO/PPO）の一般化が可能となり、割引ありおよび割引なしの設定下で収束保証と最適性バインディングが確立される。実世界の部分的観測環境においても、理論的厳密性を保ちつつ方策勾配法を有効に適用可能であることが示された。

ABSTRACT

Policy gradient is a generic and flexible reinforcement learning approach that generally enjoys simplicity in analysis, implementation, and deployment. In the last few decades, this approach has been extensively advanced for fully observable environments. In this paper, we generalize a variety of these advances to partially observable settings, and similar to the fully observable case, we keep our focus on the class of Markovian policies. We propose a series of technical tools, including a novel notion of advantage function, to develop policy gradient algorithms and study their convergence properties in such environments. Deploying these tools, we generalize a variety of existing theoretical guarantees, such as policy gradient and convergence theorems, to partially observable domains, those which also could be carried to more settings of interest. This study also sheds light on the understanding of policy gradient approaches in real-world applications which tend to be partially observable.

研究の動機と目的

• 完全に観測可能なMDPに限られていた方策勾配法を、理論的保証を伴って部分的観測環境（POMDP）に拡張すること。
• POMDPに特化した新たなアドバンテージ関数の開発により、安定的かつ効率的な方策最適化を可能にすること。
• TRPO や PPO といった高度な方策勾配法を、計算可能性と収束性の特性を保持したまま POMDP に一般化すること。
• 割引ありおよび割引なしの報酬設定下において、エピソード的 POMDP における方策勾配法の収束性および最適性解析を提供すること。
• ロボット工学、ナビゲーション、自律システムにおける現実世界の部分的観測応用と完全に観測可能なMDPの理論的ギャップを埋めること。

提案手法

• 将来の観測依存性を組み込んだ、POMDPにおける新規アドバンテージ関数の提案。これにより、より良い勾配推定が可能となる。
• MDPとPOMDPの行動差異を測る指標として、アドバンテージギャップ $\overline{\epsilon}$ を導入。
• 方策勾配定理をPOMDPに適用し、期待報酬の勾配を方策が誘導する測度のもとでの軌道の期待値として表現する。
• ピンスカーの不等式とKLダイバージェンスのバインディングを用いて、方策更新距離と性能変化の関係を関係づけ、収束解析を可能にする。
• 部分的観測下においても信頼領域およびクリッピング機構を維持するため、GTRPOおよびGPPOアルゴリズムを用いてTRPOとPPOをPOMDPに一般化する。
• フィビニの定理と軌道別分解を用いて、真の性能とサーヴェイゴブジェクティブとの差をバインディングし、理論的安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 方策勾配法は、収束性および最適性保証を維持したまま、部分的観測環境に理論的に拡張可能か？
• RQ2 部分的観測性は、POMDPにおける真の勾配とそのサーヴェイゴブジェクティブとの間の性能ギャップにどのように影響するか？
• RQ3 将来の観測を考慮した適切なPOMDPにおけるアドバンテージ関数の一般化は何か？ これにより安定学習が可能になるか？
• RQ4 信頼領域法およびクリッピングされた方策最適化法は、計算可能性や収束性を損なわず、POMDPに適応可能か？
• RQ5 提案された枠組み下で、KLダイバージェンスと全変動距離のバインディングは、POMDPにおける方策改善とどのように関係するか？

主な発見

• 真の方策勾配とそのサーヴェイゴブジェクティブとの間の性能ギャップが、アドバンテージギャップ $\overline{\epsilon}$ と方策軌道間のKLダイバージェンスによってバインディングされることを確立した。
• 一般化されたTRPO（GTRPO）およびPPO（GPPO）アルゴリズムは、POMDPにおいて計算的に実行可能であり、収束保証を維持している。
• 完全に観測可能なMDPではアドバンテージギャップ $\overline{\epsilon}$ が消えることから、従来のMDP理論と整合性が保たれている。
• 理論的バインディングにより、軌道別KLダイバージェンスが小さい範囲での方策更新では、部分的観測設定下でも方策改善が保証されることを示した。
• 割引ありおよび割引なしの報酬設定下で収束解析が可能であるため、現実世界のタスクへの適用範囲が広がった。
• 提案されたツールにより、高度なディープ強化学習アルゴリズムをPOMDPに一般化可能となり、複雑な現実世界環境における頑健な方策学習の基盤が構築された。