[論文レビュー] Experimental results : Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|May 7, 2017

Machine Learning and ELM参考文献 21被引用数 4

ひとこと要約

本稿では、部分的に観測可能なマルコフ決定過程（POMDP）における強化学習のためのアルゴリズムであるSM-UCRLを提案する。この手法は、スペクトル的手法を用いて環境パラメータを推定し、レグretを最小化するための楽観的探索戦略を採用する。SM-UCRLは、最良のメモリレスな方策に対する順序最適なレグレットを達成し、部分的観測性を持つグリッドワールド環境において、DQNよりもサンプル効率と長期的報酬の両面で優れている。

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through epochs, in each epoch we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the epoch, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

研究の動機と目的

• 状態が直接観測できない部分的観測可能なマルコフ決定過程（POMDP）における強化学習の課題に取り組むこと。標準的なMDPベースの手法は非マルコフ的観測のため失敗する。
• 相互作用データからのモーメントテンソルのスペクトル分解を用いて、POMDPパラメータを一貫して推定するモデルベースRLアルゴリズムを開発すること。
• スペクトル的パラメータ推定と探索活用戦略を統合し、特に最適なメモリレスな方策に関して有界なレグレットを達成すること。
• 観測がマルコフ性を満たさない環境において、モデルフリーの深層Q学習（DQN）よりも優れた性能を実証的に示すこと。
• スペクトル的手法を用いたPOMDPにおける学習のための理論的保証、特にミニマックス最適なレグレットバウンドを提供すること。

提案手法

• アルゴリズムはエポック単位で動作し、固定方策の下で軌道を収集した後、モデルを更新する。
• 経験的モーメントテンソル（遷移、観測、報酬）のスペクトル分解を適用して、POMDPパラメータを一貫して推定する。
• 集中不等式を用いて推定パラメータの信頼区間を構築し、楽観的計画を可能にする。
• 最適化オракルを用いて、推定されたPOMDPモデルと信頼区間に基づき最適なメモリレスな方策を計算し、高報酬領域の探索を保証する。
• MDP用のUCRLにインspiredされた探索戦略を採用し、不確実性に対する楽観性とスペクトル的パラメータ推定をバランスさせる。
• 確率的方策選択のためのパラメータXを調整し、十分な探索を保証する。

実験結果

リサーチクエスチョン

• RQ1 状態が直接観測されないPOMDPにおけるモデルベース強化学習に、スペクトル的手法を効果的に適応できるか？
• RQ2 スペクトル的パラメータ推定と楽観的探索戦略を組み合わせることで、POMDPにおける保証された有界レグレットが達成できるか？
• RQ3 観測空間がマルコフ性を満たさない部分的観測環境において、提案されたSM-UCRLアルゴリズムは深層Q学習（DQN）よりも優れた性能を示すか？
• RQ4 スペクトル学習を用いたモデルベースアプローチは、POMDPにおいてモデルフリー手法に比べて、より速い収束と高い長期的報酬を達成できるか？
• RQ5 SM-UCRLのレグレットは、POMDPにおける最良のメモリレスな方策に関して順序最適か？

主な発見

• SM-UCRLは、POMDPにおける最良のメモリレスな方策に関して、順序最適なレグレットを達成し、観測空間および行動空間の次元に対して効率的なスケーリングを示す。
• 単一ボックス観測環境では、SM-UCRLはDQNよりも速く収束し、より高い長期的平均報酬を達成する。DQNはしばしば局所最適に陥る。
• 64観測記憶度の三重ボックス観測環境でも、SM-UCRLはDQNを上回る。DQNで30ユニットの隠れ層を使用しても同様の結果である。
• 初期学習段階から、不正確なパラメータ推定に対しても、妥当で確率的な方策を生成する。これはモデル不確実性に対するロバストネスを示す。
• 壁を避けるために移動方向（左/右、上/下）のバランスを保ち、報酬収集を最大化する。これは効果的な探索を示している。
• 性能向上の要因は、POMDP構造による正しい記憶モデリングに起因する。一方、DQNは観測に基づく非マルコフ的Q関数を学習し、一般化性能が低い。