[논문 리뷰] Parameter Synthesis for Markov Models: Faster Than Ever

Tim Quatmann, Christian Dehnert외 3명|arXiv (Cornell University)|2016. 02. 16.

Formal Methods in Verification참고 문헌 16인용 수 6

한 줄 요약

이 논문은 매개변수를 가진 마르코프 체인과 마르코프 결정 과정(MDP)에서 매개변수 합성에 대한 새로운 기법인 매개변수 업리프팅(parameter lifting)을 소개한다. 이 기법은 매개변수 전이를 매개변수 함수의 극값에 대한 비결정적 선택으로 대체함으로써, 매개변수 없는 모델을 분석함으로써 매개변수 공간 전역에서 도달 가능성 확률의 날카운 가bound와 상한을 효율적으로 계산한다. 이로 인해 수십만 개의 상태와 복잡한 매개변수 상호의존성에 대해 수십만 배의 속도 향상과 확장 가능성을 달성하였으며, 이는 매개변수 MDP에 대해 처음으로 타당하고 실현 가능한 접근법을 제공한다.

ABSTRACT

We propose a simple technique for verifying probabilistic models whose transition probabilities are parametric. The key is to replace parametric transitions by nondeterministic choices of extremal values. Analysing the resulting parameter-free model using off-the-shelf means yields (refinable) lower and upper bounds on probabilities of regions in the parameter space. The technique outperforms the existing analysis of parametric Markov chains by several orders of magnitude regarding both run-time and scalability. Its beauty is its applicability to various probabilistic models. It in particular provides the first sound and feasible method for performing parameter synthesis of Markov decision processes.

연구 동기 및 목표

• 기존의 매개변수 모델 검증 기법이 큰 모델과 복잡한 매개변수 상호의존성에서 어려움을 겪는다는 점을 해결하기 위해.
• 이전에 비현실적인 히ュ리스틱 기법으로 인해 실현 불가능했던 매개변수 MDP에서 타당하고 효율적인 매개변수 합성 방법을 제공하기 위해.
• 다중아핀 다항식 매개변수를 가진 확률적 시스템에 대해 매개변수 공간의 고도의 커버리지(≥95%)를 확보하기 위해, 특히 매개변수 간 의존성이 있는 모델에서도 유용하도록 하기 위해.
• 최신 도구에서 유리 함수 계산과 SMT 해결의 계산 비용이 너무 높아 실현 불가능한 문제를 해결하기 위해, 기호적 조작 대신 이완된 모델에 대한 수치적 검증으로 대체함으로써 문제를 해결하기 위해.
• 비결정적 이완 모델의 수치적 검증이 정확하고 개선 가능한 매개변수 공간 영역의 경계를 제공할 수 있으며, 정당성 손실 없이도 가능함을 보여주기 위해.

제안 방법

• 모델의 각 매개변수 전이를 매개변수 함수의 도메인에서의 최소값과 최대값에 대한 비결정적 선택으로 대체하여, 매개변수 없는 이완된 모델을 생성한다.
• 각 상태에 새로운 매개변수를 부여하고, 확률적 선택을 극값을 가진 비결정적 선택으로 대체함으로써 매개변수 없는 MDP(또는 MDP의 경우 두 플레이어의 스토케스틱 게임)를 구성한다.
• 이완된 모델에 표준 수치 알고리즘(예: 값 반복 또는 정책 반복)을 적용하여 매개변수 공간 전역에서 최소 및 최대 도달 가능성 확률을 계산한다.
• 수득한 경계를 바탕으로 매개변수 공간 영역을 안전, 비안전, 결정되지 않은 영역으로 분류하고, 영역 분할을 통해 커버리지를 향상시킨다.
• 다중아핀 다항식의 구조를 활용하여 정당성과 효율성을 확보한다. 이 함수들은 실용적 벤치마크에서 흔히 나타나기 때문이다.
• 결정되지 않은 영역의 모서리 점에서 샘플링을 통합하여 근사 오차를 추정하고 분류 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 수백만 개의 상태와 수십 개의 의존적 매개변수를 가진 모델에 대해 확장 가능하고 타당하며 효율적인 매개변수 합성 기법을 개발할 수 있는가?
• RQ2 기본적으로 매개변수 선택을 극값에 대한 비결정적 선택으로 대체함으로써, 유리 함수의 기호적 계산과 SMT 해결을 피할 수 있는가?
• RQ3 수득된 매개변수 없는 모델을 표준 수치 알고리즘으로 효율적으로 검증하여 매개변수 공간에 대해 날카운 경계를 제공할 수 있는가?
• RQ4 실제로 기존의 SMT 기반 및 샘플링 기반 접근법과 비교했을 때, 매개변수 공간 커버리지(안전/비안전 영역)는 어떻게 되는가?
• RQ5 이 방법의 성능이 매개변수 수, 상태공간 크기, 그래프 구조에 따라 얼마나 영향을 받는가?

주요 결과

• 매개변수 업리프팅 기법은 두 매개변수 모델에 대해 네 분 이내에 최소 95%의 매개변수 공간 커버리지를 달성하며, 이는 기존 기법보다 뛰어난 성능을 보인다.
• 두 매개변수 벤치마크에서 이 방법은 네 분 이내에 매개변수 공간의 94% 이상을 안전 또는 비안전 영역으로 분류하였으며, 매개변수 수에 대한 런타임 의존성이 극히 미미했다.
• 이 방법은 최대 수백만 개의 상태와 수천 개의 매개변수 전이를 가진 모델로도 확장 가능하며, 기존의 상태 제거 및 SMT 기반 방법에 비해 수십만 배의 속도 향상을 보였다.
• 이 방법은 매개변수 MDP에서 매개변수 합성에 대해 처음으로 타당하고 실현 가능한 접근법을 제공하며, 이전의 비타당한 히ュ리스틱 기법의 한계를 극복하였다.
• 런타임은 주로 상태 수와 그래프 구조에 의해 영향을 받으며, 매개변수 수에 의해 영향을 받지 않아, 스마트한 영역 선택과 결합될 경우 고차원 매개변수 공간에 적합하다.
• 근사 오차는 낮으며 주로 영역 선택의 영향을 받는 것으로 확인되었으며, 이는 방법 자체의 과대 근사 때문이 아니라, 모서리 점에서의 샘플링을 통해 검증되었다.