[論文レビュー] Metrics for Finite Markov Decision Processes

Norm Ferns, Prakash Panangaden+1 more|arXiv (Cornell University)|Jul 11, 2012

Reinforcement Learning in Robotics参考文献 14被引用数 52

ひとこと要約

本稿では、確率的バイシミュレーションに基づく、有限マルコフ決定過程（MDP）における状態類似度を測る新しい指標を導入する。将来の報酬に対する状態の振る舞いの類似度を定量化することで、状態の集約を効果的に行い、強化学習における価値関数近似を改善する。理論的境界により、指標の距離と最適状態価値の関係が結びつけられている。

ABSTRACT

We present metrics for measuring the similarity of states in a finite Markov decision process (MDP). The formulation of our metrics is based on the notion of bisimulation for MDPs, with an aim towards solving discounted infinite horizon reinforcement learning tasks. Such metrics can be used to aggregate states, as well as to better structure other value function approximators (e.g., memory-based or nearest-neighbor approximators). We provide bounds that relate our metric distances to the optimal values of states in the given MDP.

研究の動機と目的

• 有限MDPにおける状態類似度を定量化する形式的指標を開発し、強化学習に応用すること。
• 小さな指標距離を有する状態をグループ化することで状態の集約を可能にし、MDPの複雑さを低減すること。
• メモリベースや最近傍法などの価値関数近似手法の性能を、構造的な状態表現を通じて向上させること。
• 割引無限時 horizon MDPにおける指標距離と最適状態価値の関係を理論的に確立すること。
• 価値関数の正確性を保持する状態抽象化の原則的基盤を提供すること。

提案手法

• MDPにおける行動的類似度を捉える確率的バイシミュレーションの概念に基づく指標を定義する。
• 収縮写像の原理を用いて、対称性や三角不等式などの指標の性質を満たす距離関数を構築する。
• 価値関数の正確性に顕著な損失を生じさせない範囲で、安全に集約可能な状態を同定する。
• 期待される将来の報酬と遷移確率を含む固定点方程式を用いて指標を定式化する。
• 特にメモリベースおよび最近傍法において、近似のための指標を適用する。
• 指標距離と最適価値関数の差の関係を理論的に導出する。

実験結果

リサーチクエスチョン

• RQ1 有限MDPにおける状態類似度は、どのように形式的に定量化可能か？ これにより価値関数近似が支援される。
• RQ2 強化学習における価値関数の正確性を保持するため、状態類似度指標が満たすべき性質は何か？
• RQ3 提案された指標はMDPの最適価値関数とどのように関係しているか？
• RQ4 無限時 horizon 割引 MDPにおいて、性能を維持したまま状態を効果的に集約するために指標を用いることは可能か？
• RQ5 この指標に基づく抽象化を用いた価値関数近似に対して、どのような理論的保証を提供できるか？

主な発見

• 提案された指標は、対称性や三角不等式を含むすべての指標公理を満たしており、数学的堅牢性が保証される。
• 2つの状態間の指標距離は、それらの最適価値関数の差の関数によって有界であることが示され、その使用に理論的根拠が与えられる。
• 小さな指標距離を有する状態は、価値関数近似の正確性を損なわずに安全に集約可能である。
• 指標により、行動的類似度に基づく構造的な状態表現が可能となり、メモリベースおよび最近傍法の価値関数近似器の性能が向上する。
• 理論的境界により、割引が適用される状況では、指標距離が価値関数差のタイトな推定値を提供することが示された。
• 本手法は一般の有限MDPに適用可能であり、状態抽象化を通じてスケーラブルな学習を可能にする。