[論文レビュー] Methods for computing state similarity in Markov Decision Processes

Norman Ferns, Pablo Samuel Castro+2 more|arXiv (Cornell University)|Jun 27, 2012

Fault Detection and Control Systems参考文献 10被引用数 17

ひとこと要約

本稿では、計算コストの高いカントロヴィチ距離を近似するために、ネットワーク最適化と統計的サンプリングを用いて、マルコフ決定過程（MDP）における状態類似度を効率的に計算する手法を提案する。時間と空間計算量のトレードオフを取ることで、高品質な状態集約を維持する実用的な距離関数を導入し、実験的評価によりヒューリスティック手法よりも顕著な性能向上を示した。

ABSTRACT

A popular approach to solving large probabilistic systems relies on aggregating states based on a measure of similarity. Many approaches in the literature are heuristic. A number of recent methods rely instead on metrics based on the notion of bisimulation, or behavioral equivalence between states (Givan et al, 2001, 2003; Ferns et al, 2004). An integral component of such metrics is the Kantorovich metric between probability distributions. However, while this metric enables many satisfying theoretical properties, it is costly to compute in practice. In this paper, we use techniques from network optimization and statistical sampling to overcome this problem. We obtain in this manner a variety of distance functions for MDP state aggregation, which differ in the tradeoff between time and space complexity, as well as the quality of the aggregation. We provide an empirical evaluation of these trade-offs.

研究の動機と目的

• MDPにおける状態類似度計算におけるカントロヴィチ距離の高い計算コストを軽減すること。
• 正確性、時間、空間計算量のバランスを取ったカントロヴィチ距離の実用的代替手法を開発すること。
• 最適化とサンプリング技術を活用して、大規模MDPにおけるスケーラブルな状態集約を可能にすること。
• 計算コストと集約品質の観点から、異なる距離計算手法のトレードオフを実証的に評価すること。

提案手法

• 本稿では、カントロヴィチ距離の近似解を求めるためにネットワーク最適化技術を用い、計算複雑度を低減している。
• 統計的サンプリングを用いて、状態分布間のカントロヴィチ距離を推定し、高速な計算を実現している。
• 本手法は、状態類似度を線形計画問題として定式化し、特殊化されたネットワークフロー法を用いて解いている。
• 複数の手法バリエーションが提案されており、サンプリング戦略や最適化制約の違いにより、速度と正確性のバランスを取っている。
• 正確な計算と近似計算の両方をサポートするフレームワークであり、精度と効率の間の調整が可能である。

実験結果

リサーチクエスチョン

• RQ1 正確なカントロヴィチ距離の計算コストを大きく削減しつつ、MDPにおける状態類似度の計算で効率的にカントロヴィチ距離を近似できるか？
• RQ2 状態類似度計算において、計算時間、メモリ使用量、正確性の間にはどのようなトレードオフがあるか？
• RQ3 ネットワーク最適化とサンプリング技術は、大規模MDPにおいて正確なカントロヴィチ計算を効果的に置き換えられるか？
• RQ4 異なる近似戦略は、状態集約性能においてどのように比較できるか？

主な発見

• 提案手法は、正確なカントロヴィチ距離計算と比較して、状態類似度計算の計算コストを顕著に低減した。
• サンプリングベースの近似は、正確な手法と同等に高い状態集約品質を達成し、顕著な高速化を実現した。
• ネットワーク最適化技術により、下位の線形計画問題が効率的に解かれるようになり、大規模MDPへのスケーラビリティが実現した。
• 実験的評価により、アプリケーションの要件に応じて、正確性と効率性のトレードオフを効果的に調整できることが示された。