[論文レビュー] Hierarchical Linearly-Solvable Markov Decision Problems

Anders Jönsson, Vicenç Gómez|arXiv (Cornell University)|Mar 10, 2016

Reinforcement Learning in Robotics参考文献 18被引用数 4

ひとこと要約

本稿では、各タスクを線形に解けるMDP（LMDP）として定式化する階層的強化学習フレームワークを提案する。これにより、ベルマン方程式の解析的解を用いた効率的な学習が可能となる。提案された階層的Z学習アルゴリズムは、タスクの構成可能性とスケーラブルな価値関数学習を活用し、タクシーおよび自律走行ガイドド・ビークル（AGV）の領域において、最先端の手法を上回る性能を発揮する。

ABSTRACT

We present a hierarchical reinforcement learning framework that formulates each task in the hierarchy as a special type of Markov decision process for which the Bellman equation is linear and has analytical solution. Problems of this type, called linearly-solvable MDPs (LMDPs) have interesting properties that can be exploited in a hierarchical setting, such as efficient learning of the optimal value function or task compositionality. The proposed hierarchical approach can also be seen as a novel alternative to solving LMDPs with large state spaces. We derive a hierarchical version of the so-called Z-learning algorithm that learns different tasks simultaneously and show empirically that it significantly outperforms the state-of-the-art learning methods in two classical hierarchical reinforcement learning domains: the taxi domain and an autonomous guided vehicle task.

研究の動機と目的

• 大規模強化学習における次元の呪いを、階層的強化学習と線形に解けるMDP（LMDP）を組み合わせることで解決すること。
• LMDPの性質を活用し、階層的タスクにおける最適価値関数の効率的かつ解析的な学習を可能にすること。
• 複数のタスクを同時に学習し、効率的に組み合わせることを可能にする、新しい階層的Z学習アルゴリズムの開発。
• タクシー領域や自律走行ガイドド・ビークルタスクのような実世界のベンチマークにおいて、スケーラビリティと性能向上を実証すること。

提案手法

• 階層内の各タスクを、ベルマン方程式が線形であり、解析的解を有する線形に解けるMDP（LMDP）として定式化する。
• 反復的非線形最適化を回避するため、最適価値関数を効率的に計算するために、パワー反復法を用いる。
• 最適方策から導かれる記号的アクションを用い、遷移確率は最適アクション分布の円形シフトにより得る。
• 状態・アクション積空間を必要とせず、状態空間そのもので直接学習するZ学習を用いる。
• タスクの構成可能性を導入：部分タスクの最適方策を線形に組み合わせることで、再訓練なしに複合タスクを構築可能。
• 収束性と性能の向上を図るため、動的学習率と最適化されたハイパーパrameter（例：λ, ε）を用いる。

実験結果

リサーチクエスチョン

• RQ1 LMDPの線形構造を活用することで、階層的強化学習のサンプル効率とスケーラビリティを向上させられるか？
• RQ2 階層的Z学習アルゴリズムは、最先端のHRL手法と比較して収束速度と最終的性能で優れているか？
• RQ3 階層的LMDPにおいて、タスクの構成可能性をどの程度活用できるか。特に、再訓練なしに複合タスクをゼロコストで学習可能か？
• RQ4 LMDPベースの手法を大規模な状態空間に適用する際の数値的・計算的限界は何か。また、それらをどのように緩和できるか？

主な発見

• 階層的Z学習アルゴリズムは、15×15のタクシー領域および簡略化された2マシンAGV領域において、最先端のHRL手法を著しく上回る性能を発揮した。
• タスクの構成可能性により、部分タスクの事前学習済み最適解を活用して、再訓練なしに効率的に複合方策を構築可能であった。
• 大規模な状態空間においても、正確な価値関数推定が達成可能であり、数値精度が50×50グリッドのような非常に大きなグリッドで唯一のボトル neck となった。
• Z学習の使用により、状態・アクション積空間の計算負荷を回避し、状態空間そのものでの直接学習が可能となった。
• 15×15タクシー領域では、価値関数差のℓ₁ノルムで測定した収束速度と誤差が、ベースライン手法を上回った。
• 約75,000状態を有するAGV領域において、最適方策が正常に学習されたが、スケーリングに伴い数値精度の課題が顕在化した。