[논문 리뷰] Measuring and Synthesizing Systems in Probabilistic Environments

Krishnendu Chatterjee, Thomas A. Henzinger외 2명|arXiv (Cornell University)|2010. 04. 05.

Formal Methods in Verification참고 문헌 35인용 수 5

한 줄 요약

이 논문은 가중치가 부여된 온톨로지와 마르코프 결정 과정(MDP)을 사용하여 확률적 환경 가정 하에 정량적 목표를 최적화하는 시스템을 합성하기 위한 새로운 프레임워크를 제안한다. 평균 보상 펄스 목표를 가진 MDP에 대해 다항 시간 알고리즘을 도입하여 최적 또는 ε-최적의 유한 상태 시스템을 구축할 수 있으며, 정성적 및 정량적 사양을 동시에 고려하는 실용적 합성 지원을 제공하는 Quasy 도구에 구현되어 있다.

ABSTRACT

Often one has a preference order among the different systems that satisfy a given specification. Under a probabilistic assumption about the possible inputs, such a preference order is naturally expressed by a weighted automaton, which assigns to each word a value, such that a system is preferred if it generates a higher expected value. We solve the following optimal-synthesis problem: given an omega-regular specification, a Markov chain that describes the distribution of inputs, and a weighted automaton that measures how well a system satisfies the given specification under the given input assumption, synthesize a system that optimizes the measured value. For safety specifications and measures given by mean-payoff automata, the optimal-synthesis problem amounts to finding a strategy in a Markov decision process (MDP) that is optimal for a long-run average reward objective, which can be done in polynomial time. For general omega-regular specifications, the solution rests on a new, polynomial-time algorithm for computing optimal strategies in MDPs with mean-payoff parity objectives. Our algorithm generates optimal strategies consisting of two memoryless strategies and a counter. This counter is in general not bounded. To obtain a finite-state system, we show how to construct an ε-optimal strategy with a bounded counter for any ε>0. We also show how to decide in polynomial time if we can construct an optimal finite-state system (i.e., a system without a counter) for a given specification. We have implemented our approach in a tool that takes qualitative and quantitative specifications and automatically constructs a system that satisfies the qualitative specification and optimizes the quantitative specification, if such a system exists. We present experimental results showing optimal systems that were generated in this way.

연구 동기 및 목표

• 확률적 입력 가정 하에 정성적 사양을 만족하면서도 정량적 목표를 최적화하는 시스템을 합성하는 데 도전하는 것.
• 응답 시간이나 요청 처리량과 같은 성능 메트릭을 기반으로 시스템 행동에 실수값 점수를 할당하는 가중치가 부여된 온톨로지 기반의 시스템 품질 측정 방법을 개발하는 것.
• 평균 보상 펄스 목표를 위한 장기 평균 보상 최대화 전략을 계산하여 최적 합성 문제를 해결하는 것.
• 유한 상태 시스템을 구축하기 위해 유한한 카운터를 갖는 ε-최적 전략을 제공하고, 최적의 유한 상태 시스템이 존재하는지 판단하는 것.
• Quasy 도구를 통해 접근을 구현하고 평가하여 정확성과 성능을 균형 잡은 시스템의 자동 합성을 입증하는 것.

제안 방법

• 시스템 행동과 환경 입력을 각각 마르코프 체인과 안전성 또는 펄스 사양으로 모델링한다.
• 응답 시간이나 요청 처리량과 같은 성능 메트릭을 기반으로 시스템 행동에 실수값 점수를 할당하는 가중치가 부여된 온톨로지로 정량적 목표를 표현한다.
• 최적 합성 문제를 평균 보상 펄스 목표를 가진 MDP의 해법으로 환원하며, 이러한 목표를 위한 새로운 다항 시간 알고리즘을 활용한다.
• 두 개의 무기억 전략과 카운터를 사용하여 최적 전략을 구성하며, 이를 유한 상태 구현을 위해 ε-최적 정밀도로 유한한 범위로 제한할 수 있다.
• 주어진 사양에 대해 최적의 유한 상태 시스템(카운터 없이)을 구축할 수 있는지 판단하기 위한 결정 절차를 적용한다.
• 해결책을 Quasy 도구에 구현하여 정성적 및 정량적 사양을 입력으로 받아 최적 또는 ε-최적의 시스템을 자동 생성한다.

실험 결과

연구 질문

• RQ1 확률적 환경 입력 하에서 주어진 정성적 사양을 만족하면서도 평균 성능을 최대화하는 시스템을 합성할 수 있는가?
• RQ2 평균 보상 펄스 목표를 가진 MDP에서 다항 시간 내에 최적 전략을 계산할 수 있는가?
• RQ3 무한 카운터가 필요 없이 최적의 유한 상태 시스템을 구축할 수 있는 조건은 무엇인가?
• RQ4 임의의 정밀도 ε > 0 에 대해 유한한 카운터를 갖는 ε-최적의 유한 상태 시스템을 생성할 수 있는가?
• RQ5 기존의 최악의 경우 합성과 비교할 때, 제안된 방법은 시스템 품질과 표현력 측면에서 어떻게 다를 수 있는가?

주요 결과

• 논문은 평균 보상 펄스 목표를 가진 MDP를 다항 시간 내에 해결할 수 있는 알고리즘을 제시하여, 확률적 가정 하에서 효율적인 최적 합성을 가능하게 한다.
• 이러한 MDP의 최적 전략은 두 개의 무기억 전략과 카운터로 구성되며, 임의의 ε > 0 에 대해 이를 유한한 범위로 제한함으로써 ε-최적성을 확보할 수 있다.
• 안전성 사양과 평균 보상 측정을 고려할 경우, 최적 합성 문제는 MDP 내 장기 평균 보상 최적화 문제로 환원되며, 다항 시간 내에 해결 가능하다.
• Quasy 도구는 최대 128명의 클라이언트를 가진 실험에서 최적의 시스템을 성공적으로 생성하였으며, 합성 시간은 0.5에서 34.28초 사이였다.
• 응답 제약 조건(예: n명의 클라이언트에 대해 n단계 이내로 요청을 승인)이 추가된 경우, 합성된 시스템은 더 높은 확률을 가진 요청을 우선 처리하면서도 공정성을 확보하는 지능적인 우선순위 기반 행동을 보였다.
• 최적의 유한 상태 시스템이 존재하는지 여부를 다항 시간 내에 결정할 수 있어, 컴act하고 고성능의 시스템을 효율적으로 합성할 수 있다.