[論文レビュー] Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Feb 25, 2016

Reinforcement Learning in Robotics参考文献 28被引用数 7

ひとこと要約

本稿では、スペクトル的手法による一貫性のあるパrameter推定と、上界信用度探索戦略を組み合わせた強化学習アルゴリズムであるSM-UCRLを提案する。この手法は、観測空間および行動空間の次元に対するスケーラブルなスケーリングを実現し、メモリレス計画オракルの仮定の下で、広範なPOMDPクラスに対して初めて証明可能に効率的なRLアルゴリズムを提供する。

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through episodes, in each episode we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the episode, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

研究の動機と目的

• 部分的に観測可能なマルコフ決定過程（POMDP）における学習の課題に取り組む。ここでは真の状態が隠れ変数であり、ノイズの多い観測値しか得られない。
• 隠れ状態構造と部分的観測性の下でも、強いレグレット保証を満たす強化学習アルゴリズムを開発する。
• MDP用のUCRLにインspiredされた探索・活用戦略と、POMDPパラメータの一貫性のある推定を可能にするスペクトル分解を統合する。
• メモリレス方策の最適化オラクルへのアクセスを仮定した下で、順序最適のレグレットバウンドを証明する。
• 観測空間および行動空間の次元に対する、証明可能にサンプル効率的な方法で効率的なスケーリングを達成する。

提案手法

• アルゴリズムは、軌道から計算されたモーメントテンソルのスペクトル分解を用いて、POMDPパラメータ（遷移、観測、報酬モデル）を一貫的かつ統計的に効率的に推定する。
• エピソード単位で動作し、固定方策の下で十分な統計量が得られるまでデータを収集する。
• 各エピソードの終了時に、推定されたPOMDPモデルに基づいて最適なメモリレス方策を最適化オラクルが計算する。
• 探索戦略は、上界信用度（UCRL風）に基づき、スペクトル推定誤差の境界から導かれる信頼区間を用いて、探索と活用のバランスを取る。
• 白色化の解除とテンソル分解技術を用いて、観測データから隠れ状態分布およびモデルパラメータを回復する。
• 理論的分析では、集中不等式と行列摂動境界を用いて推定誤差を制御し、レグレット保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 アクティブに相互作用しデータ分布を変化させるPOMDPにおける強化学習に、スペクトル的手法を効果的に適応できるか？
• RQ2 スペクトル推定と上界信用度探索を組み合わせた学習アルゴリズムが、POMDPで達成できるレグレットバウンドは何か？
• RQ3 観測空間および行動空間の次元に対して、レグレットとサンプル複雑度の観点で、このアルゴリズムはどのようにスケーリングするか？
• RQ4 メモリレス方策計画オラクルの仮定の下で、POMDPで順序最適のレグレットを達成することは可能か？
• RQ5 連続的な信念空間上の計画が非効率的である場合、最適化オラクルが効率的な学習を可能にする役割は何か？

主な発見

• 提案されたSM-UCRLアルゴリズムは、POMDPにおける最適なメモリレス方策に対して順序最適のレグレットを達成する。
• レグレットバウンドは、観測空間および行動空間の次元に対して効率的にスケーリングされ、実用的妥当性を保証する。
• スペクトル法により、隠れ状態構造が存在する中でも、観測データからのPOMDPパラメータの一貫性のある推定が可能である。
• 適切なサンプルサイズのもとで、隠れ状態分布の推定誤差は $ ig\| oldsymbol{ u}_i - oldsymbol{ u}_i^{ ext{est}} ig floor_2 ightarrow 0 $ と高確率で収束する。
• アルゴリズムは、$ O( ext{polylog}(T) imes ext{poly}(X,Y,A)) $ のオーダーのレグレットバウンドを達成する。ここで $ X, Y, A $ は状態数、観測数、行動数を表す。
• 理論的分析により、スペクトル推定誤差が集中不等式と行列摂動理論によって制御され、探索のためのタイトな信頼区間が得られることを確認した。