[논문 리뷰] Bug Hunting By Computing Range Reduction

Eugene Goldberg, Panagiotis Manolios|arXiv (Cornell University)|2014. 08. 29.

Formal Methods in Verification참고 문헌 3인용 수 4

한 줄 요약

이 논문은 부분 기수 제거(Partial Quantifier Elimination, PQE)를 통해 범위 축소 공식을 계산하는 Computing Range Reduction(CRR)라는 새로운 모델 체킹 방법을 소개한다. 기존의 SAT 기반 또는 IC3 스타일의 방법과 달리, CRR는 전체 가시 상태 집합을 계산하지 않고 특정 초기 상태를 통해만 도달 가능한 상태에 집중함으로써 장기적인 반례를 더 효율적으로 탐지할 수 있다. 이는 PQE 기반 접근 방식이 특정 상황에서 SAT 솔버를 능가할 수 있음을 보여준다.

ABSTRACT

We describe a method of model checking called Computing Range Reduction (CRR). The CRR method is based on derivation of clauses that reduce the set of traces of reachable states in such a way that at least one counterexample remains (if any). These clauses are derived by a technique called Partial Quantifier Elimination (PQE). Given a number n, the CRR method finds a counterexample of length less or equal to n or proves that such a counterexample does not exist. We show experimentally that a PQE-solver we developed earlier can be efficiently applied to derivation of constraining clauses for transition relations of realistic benchmarks. One of the most appealing features of the CRR method is that it can potentially find long counterexamples. This is the area where it can beat model checkers computing reachable states (or their approximations as in IC3) or SAT-based methods of bounded model checking. PQE cannot be efficiently simulated by a SAT-solver. This is important because the current research in model checking is dominated by SAT-based algorithms. The CRR method is a reminder that one should not put all eggs in one basket.

연구 동기 및 목표

• 기존의 IC3나 유한 모델 체킹 방법이 비효율적인 경우에도 장기 반례를 효율적으로 탐지하는 데 도전하는 것.
• 장기 반례에 대해 확장성과 완전성에서 어려움을 겪는 SAT 기반 접근 방식과 IC3의 한계를 극복하는 것.
• 부분 기수 제거(PQE)를 활용해 특정 초기 상태를 통해만 도달 가능한 상태에 대해 제약 조건을 계산하는 방법을 개발하는 것.
• PQE 기반 추론이 특정 모델 체킹 시나리오에서 특히 장기 반례 탐지에 있어 SAT 솔버를 능가할 수 있음을 보여주는 것.
• CRR 기반으로 완전하고 무한한 모델 체킹 방법을 구축하고, 향후 임의의 길이의 성질을 다룰 수 있도록 확장하는 데 기여하는 것.

제안 방법

• CRR는 특정 초기 상태 $ s_0 $ 에서만 $ i $ 번의 전이를 거쳐 도달 가능한 상태를 나타내는 범위 축소 공식 $ H_i $ 를 계산한다. 이때 다른 모든 초기 상태는 문장 $ C $ 를 통해 배제된다.
• 이 방법은 $ i $ 개의 전이 관계 $ N $ 의 복합체로부터 $ H_i $ 를 도출하기 위해 부분 기수 제거(PQE)를 사용한다. 이때 유일하게 고려되는 것은 $ s_0 $ 에서 시작하는 트레이스뿐이다.
• 각 단계 $ i $ 에서 $ \overline{H_i} \rightarrow P $ 가 성립하는지 검사한다. 만약 성립하지 않으면 $ s_0 $ 에서부터 도달 가능한 악성 상태가 존재하며, 이는 길이 $ \leq n $ 의 반례를 의미한다.
• 이 방법은 전체 가시 상태 집합 $ A_i $ 를 계산하는 대신, $ A_i \setminus B_i $ 에 집중한다. 여기서 $ B_i $ 는 $ s_0 $ 를 통해만 도달 가능한 상태 집합이며, 이는 전체 상태 공간에 비해 극적으로 작을 수 있다.
• 노이즈가 있는 PQE 솔버를 사용해 근사적인 $ H^*_i $ 를 계산하고, 논리적 함의 관계 $ H^*_i \rightarrow H_i $ 를 통해 정당성(정확성)을 유지한다.
• 이 방법은 $ H^*_i $ 를 기반으로 인도적 추론을 사용해 문장 $ C $ 의 $ P^n $-동치성을 증명하는 데로 확장된다. 만약 어떤 악성 상태도 제거되지 않았다면, $ C $ 는 $ n $ 번의 전이에 대해 안전하다.

실험 결과

연구 질문

• RQ1 PQE를 통한 범위 축소가 전체 가시 상태 집합을 계산하지 않고도 장기 반례를 효율적으로 탐지하는 데 사용될 수 있는가?
• RQ2 장기 반례 탐지에 있어 CRR 방법은 SAT 기반의 유한 모델 체킹과 IC3 스타일 알고리즘에 비해 성능 및 확장성에서 어떻게 비교되는가?
• RQ3 노이즈가 있는 PQE 솔버를 사용해 근사적인 범위 축소 공식을 계산할 수 있는 정도는 어느 정도이며, 반례 탐지의 정확성 보장을 유지할 수 있는가?
• RQ4 어떤 조건에서 CRR 프레임워크를 사용해 문장 $ C $ 가 $ P^n $-동치임을 증명할 수 있으며, 이는 제거된 악성 상태가 없는 것과 어떻게 관련되는가?
• RQ5 CRR 방법은 임의의 전이 횟수에 대해 성질을 증명할 수 있는 완전한 무한 모델 체킹 알고리즘으로 확장될 수 있는가?

주요 결과

• CRR 방법은 특정 초기 상태를 통해만 도달 가능한 상태에 집중함으로써 전체 상태 공간 탐색의 지수적 팽창을 피하고, 장기 반례를 효율적으로 탐지할 수 있다.
• 실험 결과, PQE 솔버를 실제 벤치마크에 효과적으로 적용할 수 있음을 보여주며, 실용적 타당성을 입증한다.
• PQE는 SAT 솔버로 효율적으로 시뮬레이션할 수 없으며, 이는 CRR가 현재의 SAT 기반 모델 체킹과는 본질적으로 다른 방식이며 잠재적으로 더 확장 가능한 접근 방식임을 시사한다.
• 이 방법은 정당성 보장이 있다: 만약 $ \overline{H_i} \rightarrow P $ 가 실패하면 길이 $ \leq i $ 의 반례가 존재하며, $ H_i $ 는 관련 상태 집합을 정확히 식별한다.
• 노이즈가 있는 PQE 솔버를 사용할 경우 $ H^*_i \rightarrow H_i $ 가 성립하므로, $ H^*_i $ 가 제거한 악성 상태는 진짜 $ H_i $ 가 제거한 상태이기도 하며, 정확성이 유지된다.
• 만약 $ H^*_i $ 가 제거한 모든 악성 상태들이 도달 불가능하고, 어떤 $ H^*_j $ 도 도달 가능한 악성 상태를 제거하지 않는다면, 문장 $ C $ 는 임의의 $ n > 0 $ 에 대해 $ P^n $-동치이며, 모든 길이에 대해 안전함을 증명한다.