[논문 리뷰] On Uniformly Sampling Traces of a Transition System (Extended Version)

Supratik Chakraborty, Aditya A. Shrotri외 1명|arXiv (Cornell University)|2020. 08. 12.

Formal Methods in Verification참고 문헌 36인용 수 3

한 줄 요약

이 논문은 제약 조건이 있는 순차 회로의 유한한 트레이스를 균일하게 샘플링할 수 있는 기호적 알고리즘인 TraceSampler를 제안한다. 이 알고리즘은 대수적 결정 다이어그램(ADDs)을 사용하여, 사용자가 지정한 제약 조건 하에 트레이스 분포의 증명 가능한 균일성 또는 편향을 보장한다. 실험 결과, BDD 생성에 성공하는 벤치마크에서 특히 뛰어난 성능을 보이며, WAPS 및 UniGen2와 같은 최신 도구보다 샘플링 속도와 확장성에서 뛰어나다.

ABSTRACT

A key problem in constrained random verification (CRV) concerns generation of input stimuli that result in good coverage of the system's runs in targeted corners of its behavior space. Existing CRV solutions however provide no formal guarantees on the distribution of the system's runs. In this paper, we take a first step towards solving this problem. We present an algorithm based on Algebraic Decision Diagrams for sampling bounded traces (i.e. sequences of states) of a sequential circuit with provable uniformity (or bias) guarantees, while satisfying given constraints. We have implemented our algorithm in a tool called TraceSampler. Extensive experiments show that TraceSampler outperforms alternative approaches that provide similar uniformity guarantees.

연구 동기 및 목표

• 시스템 트레이스 생성을 위한 제약 조건이 있는 랜덤 검증(CRV) 도구에서 증명 가능한 균일성 보장의 부족을 해결하기 위해.
• 사용자가 정의한 제약 조건 하에 순차 회로에서 유한한 트레이스(상태 시퀀스)의 균일하거나 사용자가 지정한 편향을 가진 샘플링을 가능하게 하기 위해.
• 전체 상태 전이 다이어그램을 명시적으로 구성하지 않는 확장 가능한 기호적 접근법을 개발하기 위해.
• 실제 산업 규모의 벤치마크에서 실용적인 성능를 유지하면서도 증명 가능한 균일성 보장을 제공하기 위해.
• 장기적인 CRV 시뮬레이션과 증명 가능한 다양성과 균일성을 가진 짧은 트레이스 세그먼트 간의 격차를 메우기 위해.

제안 방법

• 다주기 트레이스에 대한 상태 전이 함수와 제약 조건을 기호적으로 표현하기 위해 대수적 결정 다이어그램(ADDs)을 사용한다.
• 상태 공간의 폭발을 관리하기 위해 동적 변수 재정렬 및 효율적인 ADD 생성 기법을 적용한다.
• ADD 위에서 재귀적 샘플링 절차를 적용하여 균일하거나 사용자가 지정한 편향을 가진 트레이스를 생성한다.
• 각 주기마다 SAT/SMT 호출을 통해 샘플된 상태 시퀀스에서 입력 자극을 유도한다.
• 기존 검증 워크플로우에 통합하기 위해, 트레이스 샘플을 시뮬레이션에 사용 가능한 입력 자극으로 변환한다.
• 비용을 여러 샘플에 걸쳐 분산하기 위해 컴파일 단계에서 사전에 ADD 표현을 계산한다.

실험 결과

연구 질문

• RQ1 전체 상태 전이 다이어그램을 명시적으로 구성하지 않고도 순차 회로에서 시스템 트레이스의 증명 가능한 균일한 샘플링을 달성할 수 있는가?
• RQ2 ADD 기반 샘플링의 성능는 SAT 기반 균일 샘플러인 UniGen2 및 WAPS와 비교해 어떻게 되는가?
• RQ3 동적 변수 재정렬은 ADD 생성 시간과 확장성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 BDD 생성이 가능한 산업 벤치마크에까지 확장 가능한가?
• RQ5 실제로 균일 샘플링과 비교했을 때, 샘플링 품질(균일성)은 어떻게 되는가?

주요 결과

• TraceSampler는 Counting 및 Sampling에 대해 ApproxMC3 대비 평균 17배 빠른 성능를 기록했으며, ApproxMC3보다 최대 5배 긴 트레이스를 샘플링할 수 있었다.
• TraceSampler와 이상적인 균일 샘플링 간의 젠슨-셜라드 수렴 거리(Jensen-Shannon divergence)는 0.003에 불과하여 근사적으로 완벽한 균일성을 보였다.
• BDD 생성에 성공하는 벤치마크에서 TraceSampler는 WAPS보다 샘플링 속도와 확장성에서 뛰어났다.
• ApproxMC3는 208개의 실패한 BDD 벤치마크 중 62개를 카운팅할 수 있었지만, UniGen2로 샘플링하는 것은 금방이었을 정도로 확장성 격차가 심각했다.
• 대부분의 ADD 생성 시간은 동적 변수 재정렬에 소요되었으며, 이는 더 나은 변수 순서 정렬 기법으로 최적화 가능성을 시사한다.
• 장기적인 CRV 시뮬레이션과 짧고 균일하게 샘플된 트레이스 세그먼트 간의 상호보완적 상호작용은 향후 검증 워크플로우에 있어 유망한 방향이다.