[論文レビュー] Vulcan: A Monte Carlo Algorithm for Large Chance Constrained MDPs with Risk Bounding Functions

B. Ayton, Brian C. Williams|arXiv (Cornell University)|Sep 4, 2018

Bayesian Modeling and Causal Inference被引用数 10

ひとこと要約

Vulcanは、リスクバウンディング関数を用いてグローバルなチャンス制約を各状態履歴の制約に分解することで、大規模なチャンス制約付きMDPに対するモンテカルロ木探索（MCTS）アルゴリズムを導入した。これにより、計算効率が高く、いつでもポリシー探索が可能になる。10^13状態のCCMDPを3分で解き、近似的最適な報酬と保証されたリスク境界を達成し、線形計画法やヒューリスティック手法よりも50〜600倍速い性能を示した。

ABSTRACT

Chance Constrained Markov Decision Processes maximize reward subject to a bounded probability of failure, and have been frequently applied for planning with potentially dangerous outcomes or unknown environments. Solution algorithms have required strong heuristics or have been limited to relatively small problems with up to millions of states, because the optimal action to take from a given state depends on the probability of failure in the rest of the policy, leading to a coupled problem that is difficult to solve. In this paper we examine a generalization of a CCMDP that trades off probability of failure against reward through a functional relationship. We derive a constraint that can be applied to each state history in a policy individually, and which guarantees that the chance constraint will be satisfied. The approach decouples states in the CCMDP, so that large problems can be solved efficiently. We then introduce Vulcan, which uses our constraint in order to apply Monte Carlo Tree Search to CCMDPs. Vulcan can be applied to problems where it is unfeasible to generate the entire state space, and policies must be returned in an anytime manner. We show that Vulcan and its variants run tens to hundreds of times faster than linear programming methods, and over ten times faster than heuristic based methods, all without the need for a heuristic, and returning solutions with a mean suboptimality on the order of a few percent. Finally, we use Vulcan to solve for a chance constrained policy in a CCMDP with over $10^{13}$ states in 3 minutes.

研究の動機と目的

• 従来のCCMDPソルバーがグローバルに結合されたチャンス制約のため、大規模な状態空間で性能を発揮できないというスケーラビリティの制限を克服すること。
• 完全な状態空間の列挙が非現実的な大規模で複雑なMDPにおいても、いつでもポリシー合成が可能になること。
• 定数リスクバウンディングを、現実的なリスク・リターンのトレードオフを反映する凹型で非減少のリスクバウンディング関数へ一般化すること。
• 計算効率と近似的最適性を維持しながら、チャンス制約の満たされる保証を得る手法を開発すること。

提案手法

• 各状態履歴に適用可能な十分条件を導出し、これによりグローバルなチャンス制約が保証されるようにすることで、ポリシー最適化問題を有効に分離する。
• 期待されるポリシー報酬から許容可能な最大失敗確率をマップするリスクバウンディング関数を導入し、動的リスク許容度を可能にする。
• 状態履歴固有のリスク制約を適用したモンテカルロ木探索（MCTS）を採用し、完全な状態空間探索なしに段階的にポリシーを構築可能にする。
• 状態履歴と不確実性の伝播を考慮した報酬評価メカニズムを採用し、特に探索領域におけるガウス過程推論を活用する。
• 完全な探索が終了する前でも、サブオプティマルだがリスク保証付きのポリシーに収束する「いつでも探索」戦略を採用する。
• リスクバウンディング関数に基づくプリーニング機構を実装し、探索の初期段階で高リスク・低報酬の枝を効果的に回避する。

実験結果

リサーチクエスチョン

• RQ1 グローバルリスク制約を有する大規模なチャンス制約付きMDPを解くために、モンテカルロ木探索アルゴリズムをどのように適合させられるか？
• RQ2 グローバルなチャンス制約が保証されるように、各状態履歴のリスク制約をどのように導出できるか？
• RQ3 固定リスクバウンディングと比較して、凹型で非減少のリスクバウンディング関数は、リスク・リターンのトレードオフの表現力と現実性をどのように向上させるか？
• RQ4 Vulcanの性能は、線形計画法やヒューリスティックベースの手法と比較して、速度と解の質の面でどの程度優れているか？
• RQ5 10^13状態を超える問題に対しても、Vulcanはリスク保証と近似的最適性を維持しながらスケーリング可能か？

主な発見

• Vulcanは、約3.5 × 10^13個の独自の状態履歴を有するCCMDPをわずか180秒で解き、従来手法を超えるスケーラビリティを実証した。
• 最適解が計算可能な小さな問題において、Vulcanは真の最適ポリシーと比較して数パーセンテージのわずかなサブオプティマルさを達成した。
• 同様の問題に対して、Vulcanは線形計画法ベースのCCMDPソルバーと比較して50〜600倍速い性能を示した。
• 十分に大きな問題において、ヒューリスティックな前向き探索手法と比較して11.3倍速く、特にヒューリスティックのチューニングを一切必要としなかった。
• Vulcanが返したポリシーは、高報酬が見込まれる場合にのみ高リスク領域を通過するなど、リスクと報酬のバランスを的確にとらえていた。
• 非線形で凹型のリスクバウンディング関数の使用により、報酬に応じてリスク許容度が自然に上昇する現実的なリスク許容度が実現され、過度に慎重すぎたり、逆に攻撃的すぎたりする行動を回避できた。