[論文レビュー] Reinforcement Learning in Rich-Observation MDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Nov 11, 2016

Reinforcement Learning in Robotics参考文献 30被引用数 12

ひとこと要約

本論文は、高次元観測から低次元の隠れ状態空間への単射写像を学習するためにスペクトル分解を用いる強化学習アルゴリズム、SL-UCRLを提案する。観測を潜在状態にクラスタリングし、推定された隠れMDPに対してUCRLを適用することで、レジーットがオラクルUCRLアルゴリズムと漸近的に一致し、観測空間のサイズに依存せずに、潜在状態の数にのみ依存して増加する。

ABSTRACT

Reinforcement learning (RL) in Markov decision processes (MDPs) with large state spaces is a challenging problem. The performance of standard RL algorithms degrades drastically with the dimensionality of state space. However, in practice, these large MDPs typically incorporate a latent or hidden low-dimensional structure. In this paper, we study the setting of rich-observation Markov decision processes (ROMDP), where there are a small number of hidden states which possess an injective mapping to the observation states. In other words, every observation state is generated through a single hidden state, and this mapping is unknown a priori. We introduce a spectral decomposition method that consistently learns this mapping, and more importantly, achieves it with low regret. The estimated mapping is integrated into an optimistic RL algorithm (UCRL), which operates on the estimated hidden space. We derive finite-time regret bounds for our algorithm with a weak dependence on the dimensionality of the observed space. In fact, our algorithm asymptotically achieves the same average regret as the oracle UCRL algorithm, which has the knowledge of the mapping from hidden to observed spaces. Thus, we derive an efficient spectral RL algorithm for ROMDPs.

研究の動機と目的

• 状態空間が大きくかつ高次元である場合に、標準的なRLアルゴリズムが示す高いレジーットの課題に対処すること。
• 大規模な観測MDPにおける低次元の潜在構造を活用して、学習効率とレジーットの上限を向上させること。
• 単射写像の事前知識がなくとも、観測から隠れ状態写像を学習する手法を開発すること。
• スペクトルクラスタリングを確率的RLフレームワーク（UCRL）に統合し、レジーット保証を維持すること。
• 漸近的に、観測数ではなく潜在状態数にのみ依存するレジーットを達成すること。

提案手法

• 観測軌道にテンソルベースのスペクトル分解を適用し、観測から隠れ状態への写像を推定する。
• Anandkumarら（2014）のスペクトルクラスタリング手法を用い、高い確率で潜在状態に対応するクラスタを同定する。
• 推定された隠れ状態に基づく補助MDPを構築し、UCRLを用いて探索と活用のトレードオフを制御する。
• Hoeffding型不等式に基づく信頼区間を用い、補助MDPにおける遷移確率推定の正確性を保証する。
• エポックベースの学習を採用し、収集したサンプルを定期的に用いて写像を更新することで、時間経過とともにクラスタリング精度を向上させる。
• 推定された隠れ状態空間をUCRLに統合し、計算複雑度をO(Y³)からO(X³)に低減する（Yは観測空間サイズ、Xは隠れ状態数）。

実験結果

リサーチクエスチョン

• RQ1 未知の単射写像を伴う大規模な観測MDPにおいて、スペクトル手法が潜在状態構造を信頼性高く回復できるか？
• RQ2 推定された隠れ状態空間で学習することで、真の潜在構造を完全に把握したオラクルアルゴリズムと同等のレジーットが達成できるか？
• RQ3 観測空間サイズYに弱い依存性しか示さない低レジーットを達成できるか？
• RQ4 レジーットは潜在状態数Xおよび時間枠Nにどのように依存するか？
• RQ5 クラスタリングの正確性が、全体の学習パフォーマンスとレジーットに与える影響は何か？

主な発見

• SL-UCRLは、隠れ状態から観測への写像を完全に把握したオラクルUCRLアルゴリズムと漸近的に同等のレジーットを達成する。
• SL-UCRLのレジーットは観測空間サイズYに依存せず、潜在状態数Xにのみ依存するため、スケーラビリティが著しく向上する。
• クラスタリングの精度が向上するにつれて、時間的・空間的計算複雑度はO(Y³)からO(X³)に低下し、補助MDPのサイズが小さくなる。
• 正しいクラスタリングを学習するのに必要なステップ数は有界であり、時間枠Nに依存せず、クラスタリング段階では定数レジーットを示す。
• 実験結果から、SL-UCRLはUCRLやDQNに比べ、レジーットとロバストネスの面で優れていることが示され、真の潜在構造が存在しないランダムMDPに対しても同様に有効である。
• 真の潜在構造が存在しない状況でも、スペクトル手法が潜在的なグループ構造を検出できるため、実用的に近似クラスタを効果的に特定できる。