[論文レビュー] Multi-objective Robust Strategy Synthesis for Interval Markov Decision Processes

Ernst Moritz Hahn, Vahid Hashemi+3 more|arXiv (Cornell University)|Jun 21, 2017

Formal Methods in Verification参考文献 21被引用数 4

ひとこと要約

本稿では、遷移確率が区間として表現される区間マルコフ決定過程（IMDP）において、複数の目的をもつロバスト戦略の合成を目的とした価値反復ベースのアルゴリズムを提案する。不確実性下での複数の目的を一貫して満たす戦略を求めるPSPACE困難な問題に取り組み、プロトタイプツールを用いた事例研究を通じて実用的有効性を示している。

ABSTRACT

Interval Markov decision processes (IMDPs) generalise classical MDPs by having interval-valued transition probabilities. They provide a powerful modelling tool for probabilistic systems with an additional variation or uncertainty that prevents the knowledge of the exact transition probabilities. In this paper, we consider the problem of multi-objective robust strategy synthesis for interval MDPs, where the aim is to find a robust strategy that guarantees the satisfaction of multiple properties at the same time in face of the transition probability uncertainty. We first show that this problem is PSPACE-hard. Then, we provide a value iteration-based decision algorithm to approximate the Pareto set of achievable points. We finally demonstrate the practical effectiveness of our proposed approaches by applying them on several case studies using a prototypical tool.

研究の動機と目的

• MDPにおける遷移確率の不確実性が存在する中で、複数の目的を一貫して満たす戦略を合成する課題に対処すること。
• 区間MDPにおける複数目的ロバスト戦略合成問題をPSPACE困難な意思決定問題として形式化すること。
• モデルの不確実性下での達成可能な性能ポイントのパレート集合を近似するアルゴリズム的手法を開発すること。
• 合成された戦略が、区間値をとる遷移確率のすべての可能な実装に対して一貫してロバストであることを保証すること。
• プロトタイプ実装を用いた事例研究を通じて、本手法の実用的適用可能性を示すこと。

提案手法

• 古典的MDPの一般化として区間MDPを定式化し、遷移確率を正確な値ではなく区間として指定すること。
• 複数の目的のロバスト満たしを、区間確率のすべての可能な実装に対してすべての目的が満たされることとして定義すること。
• 各目的の達成確率の下限および上限を段階的に計算する価値反復ベースのアルゴリズムを設計すること。
• 不確実性領域全体にわたってロバストな戦略の集合を維持・改善すること。
• 区間演算および凸最適化技術を用いて、価値反復プロセス中に不確実性を伝搬すること。
• ロバスト性制約下での多目的結果空間において、支配されない点（非優越点）を特定することでパレート集合の近似を構築すること。

実験結果

リサーチクエスチョン

• RQ1 区間MDPにおける複数目的ロバスト戦略合成の計算複雑性は何か？
• RQ2 区間MDPにおけるモデルの不確実性下で、達成可能な目的のパレート集合をどのように効率的に近似できるか？
• RQ3 価値反復ベースのアルゴリズムを、複数目的設定における区間値をとる遷移確率に対するロバスト性を扱えるように適合させられるか？
• RQ4 本手法は、実世界の事例研究においてどのような実用的性能を示すか？
• RQ5 不確実性下での信頼性という観点から、本手法が合成するロバスト戦略と非ロバストな対応戦略とを比較すると、どのような差異が生じるか？

主な発見

• 区間MDPにおける複数目的ロバスト戦略合成問題がPSPACE困難であることが証明され、高い計算複雑性を示している。
• 提案された価値反復ベースのアルゴリズムは、ロバスト性制約下での達成可能な目的のパレート集合を効果的に近似している。
• 本手法は、区間遷移確率のすべての可能な実装に対して複数の目的を満たす戦略を効果的に計算している。
• 事例研究により、プロトタイプツールを用いたアプローチの実用的妥当性と有効性が示されている。
• 境界の段階的精緻化と支配される戦略の pruning を通じて、アルゴリズムは計算の tractability を維持している。
• 結果として、遷移確率が区間内でのみ既知であっても、信頼性のあるロバスト戦略を合成可能であることが示された。