[論文レビュー] Topological Value Iteration Algorithms

Peng Dai, Mausam+2 more|arXiv (Cornell University)|Jan 16, 2014

Bayesian Modeling and Causal Inference参考文献 48被引用数 47

ひとこと要約

本稿では、強連結成分（SCC）に分解することで状態遷移の位相的構造を活用する、最適なMDPアルゴリズムとしてのトポロジカル値反復（TVI）と、焦点を当てたトポロジカル値反復（FTVI）を提案する。FTVIは、部分的に不適切な行動を事前に除外するヒューリスティック探索を用いることで、計算を加速させ、多くの分野でVI、ILAO*、LRTDP、BRTDP、Bayesian-RTDPと比較して最大2桁の速度向上を達成する。

ABSTRACT

Value iteration is a powerful yet inefficient algorithm for Markov decision processes (MDPs) because it puts the majority of its effort into backing up the entire state space, which turns out to be unnecessary in many cases. In order to overcome this problem, many approaches have been proposed. Among them, ILAO* and variants of RTDP are state-of-the-art ones. These methods use reachability analysis and heuristic search to avoid some unnecessary backups. However, none of these approaches build the graphical structure of the state transitions in a pre-processing step or use the structural information to systematically decompose a problem, whereby generating an intelligent backup sequence of the state space. In this paper, we present two optimal MDP algorithms. The first algorithm, topological value iteration (TVI), detects the structure of MDPs and backs up states based on topological sequences. It (1) divides an MDP into strongly-connected components (SCCs), and (2) solves these components sequentially. TVI outperforms VI and other state-of-the-art algorithms vastly when an MDP has multiple, close-to-equal-sized SCCs. The second algorithm, focused topological value iteration (FTVI), is an extension of TVI. FTVI restricts its attention to connected components that are relevant for solving the MDP. Specifically, it uses a small amount of heuristic search to eliminate provably sub-optimal actions; this pruning allows FTVI to find smaller connected components, thus running faster. We demonstrate that FTVI outperforms TVI by an order of magnitude, averaged across several domains. Surprisingly, FTVI also significantly outperforms popular heuristically-informed MDP algorithms such as ILAO*, LRTDP, BRTDP and Bayesian-RTDP in many domains, sometimes by as much as two orders of magnitude. Finally, we characterize the type of domains where FTVI excels --- suggesting a way to an informed choice of solver.

研究の動機と目的

• 標準的な値反復が全状態空間にわたり冗長なバックアップを実行するという非効率性を解消すること。
• MDPの位相的構造、特に強連結成分（SCC）を活用して、より効率的なバックアップ順序を導くこと。
• 構造的分解を体系的に行い、不要なバックアップを回避しながら最適性を保つ手法を開発すること。
• 複数の同程度のサイズのSCCを含むMDPにおいて、標準的手法が性能を発揮できない状況での性能向上を図ること。
• ヒューリスティックな除外処理を用いて関連するコンポーネントに限定して計算を制限する、焦点化されたバージョンを設計することにより、スケーラビリティを向上させること。

提案手法

• TVIは、グラフ分解技術を用いてMDPを強連結成分（SCC）に分解する。
• TVIはSCCを位相順に処理し、値反復のバックアップを実行することで、後続のコンポーネントから先行のコンポーネントへ適切に値が伝搬されることを保証する。
• FTVIは、分解前に部分的なヒューリスティック探索を用いて、明らかに不適切な行動を特定・除外することでTVIを強化する。
• この除外処理により、連結成分のサイズが縮小され、より高速かつ焦点を当てた計算が可能になる。
• アルゴリズムは、必要かつ関連する状態遷移のみを処理することにより、最適性を維持する。
• TVIおよびFTVIの両方とも、最適性が保証されており、MDPの構造的性質を活用して冗長な計算を削減するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 MDPを強連結成分（SCC）に分解し、それらを位相順に処理することで、値反復における顕著な性能向上が達成できるか？
• RQ2 分解の前段階でヒューリスティック探索を用いて不適切な行動を効果的に同定・除外できるか？ これにより関連するコンポーネントのサイズが縮小されるか？
• RQ3 得られた焦点を当てたトポロジカル値反復（FTVI）アルゴリズムは、標準的な値反復および他の最先端のMDPソルバーと比較して、実行時間およびスケーラビリティの面で優れているか？
• RQ4 どの種のMDPドメインにおいてFTVIが最も顕著な性能向上を示すか？
• RQ5 最適性を損なわず、位相的構造を体系的に活用してバックアップ順序をガイドできるか？

主な発見

• FTVIは、関連するコンポーネントに焦点を当てた計算により、複数のドメインで平均してTVIを1桁速くする。
• FTVIは、多くのドメインでILAO*、LRTDP、BRTDP、Bayesian-RTDPを著しく上回り、場合によっては最大2桁の速度向上を達成する。
• TVIは、複数の同程度のサイズのSCCを含むMDPにおいて、標準的な値反復および他の最先端のアルゴリズムよりも優れた性能を示す。
• FTVIの性能向上は、複雑でモジュール構造を持つドメインで顕著であり、不適切な行動を効果的に除外できる場合に顕著である。
• 本稿では、FTVIが特に優れた性能を発揮するMDPの種類を特定し、構造的性質に基づいたソルバー選択の根拠を提供する。
• TVIおよびFTVIの両方とも、最適性が保証されており、構造的性質の活用によって冗長な計算を削減しながら、著しい実行時間の短縮を達成している。