[논문 리뷰] Multi-objective Robust Strategy Synthesis for Interval Markov Decision Processes

Ernst Moritz Hahn, Vahid Hashemi외 3명|arXiv (Cornell University)|2017. 06. 21.

Formal Methods in Verification참고 문헌 21인용 수 4

한 줄 요약

이 논문은 전이 확률이 간격으로 표현되는 간격 마르코프 결정 과정(IMDPs)에서 다목적 강건 전략 합성에 대한 값 반복 기반 알고리즘을 제안한다. 전이 확률이 불확실한 상황에서 다수의 목표를 강건하게 충족시키는 전략을 찾는 PSPACE-하드 문제를 다루며, 프로토타입 도구를 사용한 사례 연구를 통해 실용적 효과를 입증한다.

ABSTRACT

Interval Markov decision processes (IMDPs) generalise classical MDPs by having interval-valued transition probabilities. They provide a powerful modelling tool for probabilistic systems with an additional variation or uncertainty that prevents the knowledge of the exact transition probabilities. In this paper, we consider the problem of multi-objective robust strategy synthesis for interval MDPs, where the aim is to find a robust strategy that guarantees the satisfaction of multiple properties at the same time in face of the transition probability uncertainty. We first show that this problem is PSPACE-hard. Then, we provide a value iteration-based decision algorithm to approximate the Pareto set of achievable points. We finally demonstrate the practical effectiveness of our proposed approaches by applying them on several case studies using a prototypical tool.

연구 동기 및 목표

• MDP에서 전이 확률이 불확실한 상황에서 다수의 목표를 강건하게 충족시키는 전략을 합성하는 문제에 대응한다.
• 간격 MDP에서 다목적 강건 전략 합성 문제를 PSPACE-하드 결정 문제로 공식화한다.
• 모델 불확실성 하에서 달성 가능한 성능 포인트의 파레토 집합을 근사하는 알고리즘적 접근법을 개발한다.
• 합성된 전략이 간격 값 전이 확률의 모든 가능한 실현에서 강건하도록 보장한다.
• 프로토타입 구현을 사용한 사례 연구를 통해 방법의 실용적 적용 가능성을 입증한다.

제안 방법

• 전이 확률이 정확한 값이 아니라 간격으로 지정되는 고전적 MDP의 일반화로 간격 MDP를 공식화한다.
• 모든 가능한 간격 확률 실현에서 목표가 모두 충족되어야 하는 강건한 만족을 정의한다.
• 각 목표에 대해 달성 가능한 확률의 하한 및 상한을 점진적으로 계산하는 값 반복 기반 알고리즘을 설계한다.
• 불확실성 영역 전체에서 강건한 후보 전략 세트를 유지하고 개선한다.
• 간격 산술과 볼록 최적화 기법을 사용하여 값 반복 과정 동안 불확실성을 전파한다.
• 강건성 제약 조건 하에서 다목적 결과 공간에서 지배되지 않는 점들을 식별하여 파레토 집합 근사를 구성한다.

실험 결과

연구 질문

• RQ1 간격 MDP에서 다목적 강건 전략 합성의 계산 복잡도는 무엇인가?
• RQ2 모델 불확실성 하에서 간격 MDP의 달성 가능한 목표의 파레토 집합을 효율적으로 근사할 수 있는 방법은 무엇인가?
• RQ3 값 반복 기반 알고리즘이 다목적 환경에서 간격 값 전이 확률에 대한 강건성을 다룰 수 있도록 어떻게 적응시킬 수 있는가?
• RQ4 실제 사례 연구에서 제안된 방법의 실용적 성능 특성은 어떠한가?
• RQ5 불확실성 하에서 신뢰성 측면에서 제안된 강건 전략은 비강건 대비와 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 간격 MDP에서 다목적 강건 전략 합성 문제는 PSPACE-하드임이 증명되어 높은 계산 복잡도를 가짐을 시사한다.
• 제안된 값 반복 기반 알고리즘은 강건성 제약 조건 하에서 달성 가능한 목표의 파레토 집합을 효과적으로 근사한다.
• 이 방법은 간격 전이 확률의 모든 가능한 실현에서 다수의 목표를 충족시키는 전략을 성공적으로 계산한다.
• 사례 연구를 통해 프로토타입 도구를 사용한 접근의 실용적 타당성과 효과성을 입증한다.
• 반복적인 경계 개선과 지배되는 전략의 제거를 통해 알고리즘이 계산 가능성을 유지한다.
• 결과적으로 전이 확률이 간격 내에서만 알려져 있을 경우에도 강건 전략을 합성할 수 있으며, 이는 불확실성 하에서의 신뢰성을 보장한다.