[논문 리뷰] Verifying Complex Systems Probabilistically through Learning, Abstraction and Refinement.

Jingyi Wang, Jun Sun외 1명|arXiv (Cornell University)|2016. 10. 20.

Formal Methods in Verification인용 수 5

한 줄 요약

이 논문은 정확한 사전 모델링이 불가능한 복잡한 시스템을 대상으로, 시스템 트레이스에서 모델을 학습하는 확률적 검증 방법인 LAR를 제안한다. 학습, 추상화, 정밀화를 조합함으로써 LAR는 신뢰도가 보장된 반복 가능한 반례 또는 성질 검증을 위한 증거 의무로 기능하는 확률적 모델을 생성한다. 벤치마크와 실세계의 정수 처리 시스템에서의 평가 결과, 이 방법의 효과성이 입증되었다.

ABSTRACT

Precisely modeling complex systems like cyber-physical systems is often challenging, which may render model-based system verification techniques like model checking infeasible. To overcome this challenge, we propose a method called LAR to `verify' such complex systems through a combination of learning, abstraction and refinement. Instead of starting with system modeling, our method takes a set of concrete system traces as input. The output is either a counterexample with a bounded probability of being a spurious counterexample, or a probabilistic model based on which the given property is `verified'. The model could be viewed as a proof obligation, i.e., the property is verified if the model is correct. It can also be used for subsequent system analysis activities like runtime monitoring. Our method has been implemented as a self-contained software toolkit. The evaluation on multiple benchmark systems as well as a real-world water purification system show promising results.

연구 동기 및 목표

• 정확한 모델링이 곤란한 복잡한 사이버-물리 시스템을 검증하는 데 도전하는 것.
• 수동적이고 실수를 유발하기 쉬운 시스템 모델링에 의존도를 줄이고, 트레이스에서 직접 시스템 행동을 학습하는 것.
• 거짓 반례의 위험을 제한하는 확률적 검증 프레임워크를 제공하는 것.
• 런타임 모니터링과 같은 후속 분석 작업을 가능하게 하기 위해 신뢰할 수 있는 확률적 모델을 생성하는 것.
• 실세계 및 벤치마크 시스템에서의 평가를 통해 실용적 적용 가능성을 입증하는 것.

제안 방법

• 입력으로 구체적인 시스템 트레이스 집합을 사용하며, 명시적 시스템 모델링이 필요 없도록 한다.
• 관찰된 트레이스에서 확률적 모델을 유추하기 위해 학습 기법을 사용한다.
• 관련 행동 성질을 유지하면서 모델을 단순화하기 위해 추상화를 적용한다.
• 불일치에 초점을 맞춰 반복적으로 모델과 반례의 품질을 향상시키기 위해 정밀화를 수행한다.
• 학습, 추상화, 정밀화를 피드백 루프로 통합하여 검증 신뢰도를 향상시킨다.
• 출력은 거짓 반례일 가능성이 경계된 반례이거나, 성질 검증을 위한 증거 의무로 기능하는 확률적 모델이다.

실험 결과

연구 질문

• RQ1 정확한 수작업 모델이 필요 없이 시스템을 검증할 수 있는가?
• RQ2 시스템 트레이스에서의 학습을 추상화 및 정밀화와 결합하여 검증 신뢰도를 향상시킬 수 있는가?
• RQ3 실제로 허용할 수 있는 거짓 반례의 최대 확률은 얼마인가?
• RQ4 유추된 확률적 모델은 런타임 모니터링과 같은 후속 시스템 분석 작업에 사용될 수 있는가?
• RQ5 이 방법은 사이버-물리 시스템과 같은 실세계의 복잡한 시스템에 대해 얼마나 효과적인가?

주요 결과

• LAR 방법은 세부 모델링이 필요 없이 시스템 트레이스만으로 시스템 성질을 성공적으로 검증한다.
• 이 방법은 거짓 반례일 가능성이 경계된 반례를 생성하여 결과에 대한 신뢰도를 제공한다.
• 생성된 확률적 모델은 증거 의무로 기능하여 추가 분석 및 검증을 가능하게 한다.
• 벤치마크 시스템에서의 평가 결과, 이 방법의 실현 가능성과 확장성은 입증되었다.
• 실세계의 정수 처리 시스템이 성공적으로 분석되었으며, 이는 방법의 실용적 적용 가능성을 확인한다.