[논문 리뷰] Part-X: A Family of Stochastic Algorithms for Search-Based Test Generation with Probabilistic Guarantees

Giulia Pedrielli, Tanmay Khandait외 5명|arXiv (Cornell University)|2021. 10. 20.

Software Testing and Debugging Techniques인용 수 5

한 줄 요약

Part-X는 사이버-물리 시스템에서 검색 기반 테스트 생성을 위한 확률적 알고리즘 가족을 소개하며, 오류를 일으키는 입력의 존재에 대해 확률적 보장을 제공한다. 입력 공간을 적응적으로 분할하고, 가우시안 프로세스를 사용해 내구성 지표의 지형을 추정함으로써, Part-X는 오류 발생 가능성을 제한하고 위반이 발생할 가능성이 높은 영역을 식별한다. 이는 통계적 신뢰도를 갖춘 유한 시간 안의 안전성 평가를 가능하게 한다.

ABSTRACT

Requirements driven search-based testing (also known as falsification) has proven to be a practical and effective method for discovering erroneous behaviors in Cyber-Physical Systems. Despite the constant improvements on the performance and applicability of falsification methods, they all share a common characteristic. Namely, they are best-effort methods which do not provide any guarantees on the absence of erroneous behaviors (falsifiers) when the testing budget is exhausted. The absence of finite time guarantees is a major limitation which prevents falsification methods from being utilized in certification procedures. In this paper, we address the finite-time guarantees problem by developing a new stochastic algorithm. Our proposed algorithm not only estimates (bounds) the probability that falsifying behaviors exist, but also it identifies the regions where these falsifying behaviors may occur. We demonstrate the applicability of our approach on standard benchmark functions from the optimization literature and on the F16 benchmark problem.

연구 동기 및 목표

• 기존의 검색 기반 테스트 생성 방법은 테스트 예산을 모두 소진한 후에도 안전성에 대한 유한 시간 보장을 제공하지 못하는 점을 해결하기 위해.
• 사이버-물리 시스템의 입력 공간에 오류를 일으키는 행동이 존재할 확률을 추정하는 프레임워크를 개발하기 위해.
• 입력 공간을 위반 영역, 만족 영역, 결정 불가 영역으로 분류하고, 그에 따른 불확실성을 정량화하기 위해.
• 오류를 일으키는 입력이 발견되지 않더라도, 오류 발생 가능성에 대한 확률적 경계를 제공함으로써 안전성 인증을 가능하게 하기 위해.

제안 방법

• Part-X는 내구성 함수의 영점 집합을 국소화하기 위해 입력 공간을 하위 영역으로 적응적으로 분할한다.
• 각 분할 영역에서 국소적 가우시안 프로세스 모델을 사용하여 샘플링되지 않은 영역의 내구성 함수를 추정한다.
• 알고리즘이 반복할 수록 분류 오류에 대한 확률적 경계를 유지함으로써, 오류 발생 체적 추정에 대한 신뢰도를 보장한다.
• 샘플링은 불확실성과 기대 오류 발생 확률에 따라 유도되며, 오류를 일으킬 가능성이 높은 영역에 집중된다.
• 탐색 공간에서 탐색과 이용의 균형을 이루기 위해 베이지안 최적화 원리와 통계적 학습을 통합한다.
• 분위수 기반 오류 발생 체적을 계산하여, 오류를 일으키는 입력이 존재할 가능성을 추정한다.

Figure 1: An overview of the Part-X algorithm.

실험 결과

연구 질문

• RQ1 주어진 테스트 예산 내에서 오류를 일으키는 입력이 존재할 가능성에 대해, 오류를 발견하지 못한 상황에서도 유한 시간 내에 확률적 보장을 제공할 수 있는가?
• RQ2 검출된 위반이 없더라도, 입력 공간에 오류를 일으키는 행동이 존재할 가능성을 어떻게 추정할 수 있는가?
• RQ3 오류를 일으킬 가능성이 가장 높은 특정 입력 하위 영역을 식별할 수 있는가? 이를 통해 타겟팅된 테스트나 설계의 강성 강화가 가능할 수 있는가?
• RQ4 제한된 수의 시뮬레이션을 사용하여, 오류 발생 체적 추정의 오차를 높은 신뢰도로 경계할 수 있는가?

주요 결과

• 고도 2300에서의 F-16 벤치마크에서 Part-X는 비영일 확률적 오류 발생 체적(예: q=0.95일 때 9.26×10⁻⁶)을 탐지하여, 오류를 일으키는 입력이 존재할 가능성이 높음을 시사했다.
• 고도 2350일 경우 오류 발생 체적 추정이 불확실한 상태(영역이 0을 포함함)였으며, 이는 시스템이 안전할 수 있음을 시사하지만, 추가 샘플링이 필요할 정도의 불확실성이 존재함을 의미했다.
• Part-X는 입력 공간 내에서 오류를 일으키는 영역을 성공적으로 식별했으며, 분할 결과도 시각화하여 도식화한 바 있다(Figure 7a), 이는 타겟팅된 디버깅을 가능하게 했다.
• 균일한 랜덤 샘플링보다 Part-X가 더 낮은 오류 발생 체적 추정치를 도출하여, 오류 영역 탐지의 효율성이 향상되었음을 입증했다.
• 오류를 일으키지 않는 실행 사례(H₀=2350)에서도 Part-X는 여전히 오류 발생에 대해 양의 확률을 할당하여, 잘못된 확신이 아닌 불확실성 반영을 보였다.
• 분류 오차에 대한 확률적 경계를 제공함으로써, 각 반복 단계에서 오류 발생 체적 추정에 대한 통계적 신뢰도를 확보했다.

Figure 2: An example of partitioning tree generated by Part-X at iteration $k=3$ . Subregions in red are classified as violating, those in green are satisfying, the orange region is being reclassified from violating to remaining (it would be light green if remaining from satisfying).