[論文レビュー] State Abstraction in MAXQ Hierarchical Reinforcement Learning

Thomas G. Dietterich|ArXiv.org|May 21, 1999

Reinforcement Learning in Robotics参考文献 12被引用数 55

ひとこと要約

本論文は、MAXQ階層強化学習フレームワークにおける安全な状態抽象化のための5つの形式的条件を導入し、これらの抽象化が適用された場合にMAXQ-Q学習が最適方策に収束することを証明している。状態抽象化が価値関数のエントリ数を著しく削減することを示しており、タクシー領域では必要な値を14,000から632にまで削減した。これにより、階層的学習の効率性とスケーラビリティが著しく向上した。

ABSTRACT

Many researchers have explored methods for hierarchical reinforcement learning (RL) with temporal abstractions, in which abstract actions are defined that can perform many primitive actions before terminating. However, little is known about learning with state abstractions, in which aspects of the state space are ignored. In previous work, we developed the MAXQ method for hierarchical RL. In this paper, we define five conditions under which state abstraction can be combined with the MAXQ value function decomposition. We prove that the MAXQ-Q learning algorithm converges under these conditions and show experimentally that state abstraction is important for the successful application of MAXQ-Q learning.

研究の動機と目的

• 状態抽象化を伴う階層的強化学習に対して形式的な収束保証が不足している問題に対処すること。
• 学習の正しさを損なわずに安全に状態抽象化を適用できる条件を特定すること。
• 複雑な環境における効率的かつスケーラブルなMAXQ-Q学習の実現に、状態抽象化が不可欠であることを実証すること。
• 先行研究がそのような保証を欠いていたのを補い、状態抽象化下でのMAXQ-Qの収束を形式的に証明すること。

提案手法

• 安全な状態抽象化のための5つの条件を定義：リーフ無関係性、サブタスク無関係性、結果無関係性、終了条件、シールド効果。
• Q値をサブタスク価値と完了関数の和として表すMAXQ価値関数の分解にこれらの抽象化を統合する。
• これらの条件下で、完了関数C(i,s,j)が完全な状態ではなく、抽象化された状態変数にのみ依存することを証明する。
• 抽象化を尊重するGLIE（極限における探索でグリーディーな最適化）探索方策を用いて収束を保証する。
• タクシーおよびHDGナビゲーションタスクにこれらの抽象化条件を適用し、必要な価値関数エントリ数を削減する。
• 特定の状態変数がサブタスクの結果や完了コストに影響しないことを利用し、表現をコンパクトに保つ。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習において、収束を損なわずに状態抽象化を安全に適用できる条件は何か？
• RQ2 最適性を保ちつつ、状態抽象化をサポートするようにMAXQ価値関数分解をどのように変更できるか？
• RQ3 状態抽象化がMAXQ-Q学習のサンプル効率および収束速度に与える影響は何か？
• RQ4 状態抽象化により、階層的強化学習における価値関数表現のサイズを著しく削減できるか？
• RQ5 状態抽象化を用いたMAXQ-Qに対して、形式的な収束証明は存在するか？

主な発見

• リーフ無関係性、サブタスク無関係性、結果無関係性、終了条件、シールド効果という5つの抽象化条件により、完了関数C(i,s,j)が抽象化された状態変数にのみ依存することが保証される。
• これらの抽象化のもとで、MAXQ-Q学習は一意な再帰的最適方策に収束することが、抽象化された状態遷移の分布的議論により証明された。
• タクシー領域では、状態抽象化により必要な価値関数エントリ数が、抽象化なしの14,000から抽象化ありの632にまで削減され、95.5％の削減が達成された。
• 状態抽象化を用いることで、MAXQ-Q学習はフラットQ学習よりも著しく高速に収束したが、抽象化なしではフラットQ学習よりも遅かった。
• 終了条件（子タスクが親タスクを終了させる）により、C(i,s,j) = 0 となるため、完了コストの表現が不要になり、削減が可能になる。
• シールド効果により、サブタスクが実行不可能な状態ではC(i,s,j)を省略できるため、さらに表現サイズが削減される。