[論文レビュー] Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes

Guido Montúfar, Keyan Ghazi-Zahedi+1 more|arXiv (Cornell University)|Mar 24, 2015

Reinforcement Learning in Robotics参考文献 22被引用数 8

ひとこと要約

本稿は、部分的に観測可能なマルコフ意思決定過程（POMDP）におけるメモリレスな確率的方策の最適化のための幾何的枠組みを導入し、いかなる報酬構造に依存せず、観測の曖昧さ（perceptual aliasing）によって制限される範囲で、確率的行動の多様性が限界づけられる最適方策が存在することを証明する。制約付き線形最適化問題として定式化された方策を低次元多様体としてモデル化することで、最適性保証付きの高速かつ安定した方策勾配学習が可能になる。

ABSTRACT

It is well known that for any finite state Markov decision process (MDP) there is a memoryless deterministic policy that maximizes the expected reward. For partially observable Markov decision processes (POMDPs), optimal memoryless policies are generally stochastic. We study the expected reward optimization problem over the set of memoryless stochastic policies. We formulate this as a constrained linear optimization problem and develop a corresponding geometric framework. We show that any POMDP has an optimal memoryless policy of limited stochasticity, which allows us to reduce the dimensionality of the search space. Experiments demonstrate that this approach enables better and faster convergence of the policy gradient on the evaluated systems.

研究の動機と目的

• 一般に最適方策が記憶を必要とし、計算的に実行不可能となる、高次元かつ確率的な方策空間の課題に対処すること。
• メモリレスな確率的方策の下での世界状態と行動の定常結合分布の集合を分析する幾何的枠組みを構築すること。
• 次元削減を可能にしつつ最適性保証を維持できるPOMDP方策最適化における構造的制約を同定すること。
• 最適な定常方策を含むことが保証された低次元で微分可能な方策モデルを設計し、学習の効率性と収束性を向上させること。
• 実験的に、複雑さを低減したモデルが、高次元または過度に単純なモデルよりも学習速度と性能で優れていることを示すこと。

提案手法

• 世界状態と行動の定常結合分布上で期待平均報酬を最大化する問題を、制約付き線形最適化問題として定式化する。
• 部分的観測性と定常性の制約から導かれる凸ポリトープの和集合として、実行可能方策空間をモデル化する。
• 実行可能集合の幾何的分解を用いて、感度の曖昧さに起因する数値で表される、確率的行動の多様性が限界づけられた最適方策の存在を証明する。
• k-相互作用指数型分布族や制限付きボルツマンマシンを用いて、制御された確率的行動を有する低次元方策モデルを構築する。
• 固定学習率と時間窓による報酬推定を用いて、Stochastic Gradient Ascentを適用したGPOMDPアルゴリズムを用いてこれらのモデルを学習する。
• 関連する十分統計量（例：センサ状態と行動のペア）のみを選択することで、パrameter空間を縮小し、効率的なサンプリングと最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 POMDPにおける最適なメモリレスな確率的方策に必要な最小の確率的行動の多様性は何か？ これは報酬関数とは独立して境界づけられるか？
• RQ2 POMDPにおける定常結合分布の実行可能集合は、どのように幾何的に分解可能であり、最適方策空間の構造を明らかにできるか？
• RQ3 最適な定常方策を含むことが保証された低次元方策モデルを構築可能か？ その影響は学習性能にどのように現れるか？
• RQ4 最適性を保ちつつ方策モデルの複雑さを低減することは、方策勾配強化学習における収束速度と頑健性を向上させるか？
• RQ5 限られた計算リソースを有するPOMDPにおける方策最適化において、モデルの表現力と学習の安定性のトレードオフは何か？

主な発見

• いかなる報酬関数に依存せず、世界状態について曖昧に観測可能なセンサ状態の数によって制限される範囲で、すべてのPOMDPに確率的行動の多様性が限界づけられた最適なメモリレスな確率的方策が存在する。
• POMDPにおける定常結合分布の実行可能集合は凸部分に分解可能であり、最適方策はこれらの部分の極端点に位置するため、幾何的解析が可能になる。
• 迷路実験において、k=3のk-相互作用モデルが、k=1,2（単純）およびk=4,5（複雑）のモデルを上回る性能を示し、学習速度と最終報酬の両面で優れていた。
• k=3のモデルは23パラメータを有し、近似的に最適な性能を達成しており、最適方策を表現可能な最小の複雑さのモデルが最も速く学習され、勾配ノイズに対して感受性が低いことが示された。
• 確率的行動の多様性の境界を用いた方策モデルの次元削減により、最適性を損なわずに収束が速くなり、方策勾配学習における頑健性が向上した。
• 制限付きボルツマンマシンとk-相互作用モデルの使用により、最適方策を含む低次元方策多様体の効率的サンプリングとパラメータ化が可能になった。