[論文レビュー] Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition

Thomas G. Dietterich|ArXiv.org|May 21, 1999

Reinforcement Learning in Robotics参考文献 27被引用数 21

ひとこと要約

この論文は、マルコフ決定過程の価値関数をサブタスクの階層における加法的成分に分解する階層的強化学習フレームワークMAXQを紹介する。状態の抽象化とサブタスクの再利用を通じて効率的な学習を可能にし、再帰的に最適な方策への収束を証明している。実験では、フラットなQ学習よりも収束が速く、性能が向上していることが示されている。

ABSTRACT

This paper presents the MAXQ approach to hierarchical reinforcement learning based on decomposing the target Markov decision process (MDP) into a hierarchy of smaller MDPs and decomposing the value function of the target MDP into an additive combination of the value functions of the smaller MDPs. The paper defines the MAXQ hierarchy, proves formal results on its representational power, and establishes five conditions for the safe use of state abstractions. The paper presents an online model-free learning algorithm, MAXQ-Q, and proves that it converges wih probability 1 to a kind of locally-optimal policy known as a recursively optimal policy, even in the presence of the five kinds of state abstraction. The paper evaluates the MAXQ representation and MAXQ-Q through a series of experiments in three domains and shows experimentally that MAXQ-Q (with state abstractions) converges to a recursively optimal policy much faster than flat Q learning. The fact that MAXQ learns a representation of the value function has an important benefit: it makes it possible to compute and execute an improved, non-hierarchical policy via a procedure similar to the policy improvement step of policy iteration. The paper demonstrates the effectiveness of this non-hierarchical execution experimentally. Finally, the paper concludes with a comparison to related work and a discussion of the design tradeoffs in hierarchical reinforcement learning.

研究の動機と目的

• 大規模な状態空間におけるフラットな強化学習のスケーラビリティの限界を克服するため、階層的価値関数の分解を導入すること。
• サブタスクの再利用、状態の抽象化、手続き的および記述的意味論を通じた効率的な学習を支援する階層的強化学習手法を形式化すること。
• 状態の抽象化が行われても再帰的に最適な方策に収束する学習アルゴリズム（MAXQ-Q）を開発すること。
• 階層的価値関数表現から、元の階層的方策よりも優れた非階層的方策を導出可能にすること。
• 状態の抽象化を階層的強化学習に安全に適用できる正式な条件を確立すること。

提案手法

• MAXQは、ターゲットMDPの価値関数を、階層的グラフ構造におけるサブタスクの価値関数の加法的組み合わせに分解する。
• 階層は、内部ノードがサブゴールを表し、リーフが原始的行動を表す有向無閉路グラフ（DAG）として定義される。
• MAXQ-Qは、Q学習の原則を用いて各ノードの価値関数を更新するオンラインでモデルフリーの学習アルゴリズムであり、更新を下位から上位へ伝搬する。
• 状態の抽象化をサポートするための5つの正式な条件（最大ノード無関係性、リーフ無関係性、結果分布無関係性、シールド効果、終了条件）を導入する。
• 階層的価値関数に対して方策改善手順を適用し、非階層的で改善された方策を抽出する。
• 各サブタスクに独立した価値関数を維持することで、サブタスクの共有と再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 与えられた階層に整合する任意の方策の価値関数を、階層的価値関数の分解が表現可能か？
• RQ2 階層的強化学習において、収束に影響を与えないように、状態の抽象化を適用する条件は何か？
• RQ3 状態の抽象化が存在する状況下でも、MAXQ-Q学習アルゴリズムは局所的に最適な方策に収束するか？
• RQ4 階層的価値関数表現を用いて、元の階層的方策よりも優れた非階層的方策を導出可能か？
• RQ5 収束速度と最終的な方策品質の観点から、MAXQ-QはフラットなQ学習と比較してどのように性能を発揮するか？

主な発見

• MAXQ-Qは、状態空間の大部分を無視する状態の抽象化を使用しても、確率1で再帰的に最適な方策に収束する。
• MAXQ価値関数の分解は、有限ホライズン非割引および無限ホライズン割引報酬基準の両方において、任意の階層的方策の価値関数を表現可能である。
• タクシーおよびKaelbling HDGタスクにおける実験では、状態の抽象化を用いたMAXQ-Qが、フラットなQ学習よりも著しく速く収束することが示された。
• Fickle Taxiタスクでは、MAXQ価値関数に基づく非階層的実行が最適な性能を達成し、階層的表現からの方策改善の有効性が裏付けられた。
• HDGタスクの実験では、MAXQから導出された改善された非階層的方策を用いることで、元の階層的方策に比べて顕著な性能向上が達成された。
• 論文は、階層的強化学習における状態の抽象化を安全に適用可能にする5つの正式な条件（最大ノード無関係性、リーフ無関係性、結果分布無関係性、シールド効果、終了条件）を確立した。