[논문 리뷰] Approximation-Refinement Testing of Compute-Intensive Cyber-Physical Models: An Approach Based on System Identification

Claudio Menghi, Shiva Nejati외 2명|arXiv (Cornell University)|2019. 10. 07.

Software Testing and Debugging Techniques참고 문헌 77인용 수 10

한 줄 요약

이 논문은 시스템 식별을 통해 순차적으로 보조 모델을 구축하고 개선하는 보조 모델 근사-정련 루프를 활용해 계산이 집약적인 사이버-물리 시스템(CI-CPS) 모델의 블랙박스 테스팅을 가속화하는 새로운 근사-정련 테스팅 프레임워크 ARIsTEO를 제안한다. 이 방법은 더 빠른 보조 모델을 사용해 시뮬레이션 시간을 단축시키며, 잘못된 실패 사례를 이용해 보조 모델을 정련함으로써, 공개 벤치마크 모델에서 S-Taliro 대비 24% 더 많은 요구사항 위반 사항을 발견하고 31% 더 빠르게 탐지한다. 또한 S-Taliro가 실패한 산업용 인공위성 모델에서 세 개의 위반 사항을 성공적으로 식별하였다.

ABSTRACT

Black-box testing has been extensively applied to test models of Cyber-Physical systems (CPS) since these models are not often amenable to static and symbolic testing and verification. Black-box testing, however, requires to execute the model under test for a large number of candidate test inputs. This poses a challenge for a large and practically-important category of CPS models, known as compute-intensive CPS (CI-CPS) models, where a single simulation may take hours to complete. We propose a novel approach, namely ARIsTEO, to enable effective and efficient testing of CI-CPS models. Our approach embeds black-box testing into an iterative approximation-refinement loop. At the start, some sampled inputs and outputs of the CI-CPS model under test are used to generate a surrogate model that is faster to execute and can be subjected to black-box testing. Any failure-revealing test identified for the surrogate model is checked on the original model. If spurious, the test results are used to refine the surrogate model to be tested again. Otherwise, the test reveals a valid failure. We evaluated ARIsTEO by comparing it with S-Taliro, an open-source and industry-strength tool for testing CPS models. Our results, obtained based on five publicly-available CPS models, show that, on average, ARIsTEO is able to find 24% more requirements violations than S-Taliro and is 31% faster than S-Taliro in finding those violations. We further assessed the effectiveness and efficiency of ARIsTEO on a large industrial case study from the satellite domain. In contrast to S-Taliro, ARIsTEO successfully tested two different versions of this model and could identify three requirements violations, requiring four hours, on average, for each violation.

연구 동기 및 목표

• 단일 시뮬레이션에 수 시간이 소요되는 계산이 집약적인 사이버-물리 시스템(CI-CPS) 모델에서 블랙박스 테스팅의 확장성 문제를 해결하기 위해.
• 긴 시뮬레이션 시간으로 인해 전통적인 블랙박스 테스팅에 부적절한 CI-CPS 모델에 대해 효율적이고 효과적인 테스팅을 가능하게 하기 위해.
• 시스템 식별 기법과 근사-정련 루프를 결합하여 전체 모델 시뮬레이션에 대한 의존도를 줄이는 프레임워크를 개발하기 위해.
• 공개 벤치마크와 산업 사례 연구를 대상으로 제안된 방법의 효과성과 효율성을 최신 기술인 S-Taliro와 비교 평가하기 위해.
• 실제로 복잡한 CI-CPS 모델, 예를 들어 인공위성 시스템과 같은 실제 세계의 복잡한 모델에 대해 이 방법의 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 테스트 대상인 원본 CI-CPS 모델로부터 입력과 출력을 샘플링하여, 시스템 식별 기법을 사용해 보조 모델을 훈련한다.
• 보조 모델은 원본 모델의 더 빠르고 근사된 버전으로, 블랙박스 테스팅에 효율적으로 사용될 수 있다.
• 보조 모델에 대해 피트니스 지향 검색을 사용해 요구사항 위반 가능성이 있는 후보 테스트 입력을 식별하기 위해 블랙박스 테스팅을 적용한다.
• 보조 모델에서 발견된 실패 유발 테스트 케이스는 원본 모델에서 재실행되어 정확성이 검증된다.
• 실패가 위조적(즉, 원본 모델에 존재하지 않는)일 경우, 새로운 데이터를 사용해 보조 모델을 정련하여 정확도를 향상시킨다.
• 유효한 요구사항 위반 사항이 발견되거나 정련 과정이 수렴할 때까지 이 과정을 반복함으로써, 효율성과 정확성을 모두 확보한다.

실험 결과

연구 질문

• RQ1 시스템 식별 기반의 근사-정련 루프가 계산이 집약적인 CPS 모델 테스팅에 소요되는 시간을 효과적으로 줄일 수 있는가?
• RQ2 S-Taliro와 같은 최신 기술 툴에 비해 ARIsTEO의 요구사항 위반 탐지 능력은 어떠한가?
• RQ3 S-Taliro 대비 ARIsTEO의 위반 탐지 효율성(실행 시간 기준)은 어떠한가?
• RQ4 S-Taliro가 실패한 산업 규모의 CI-CPS 모델에서 ARIsTEO는 요구사항 위반 사항을 성공적으로 탐지할 수 있는가?
• RQ5 보조 모델 정련이 성능 향상 유지 조건에서 실패 탐지 정확도를 얼마나 향상시키는가?

주요 결과

• ARIsTEO는 다섯 개인 공개된 CPS 모델에서 S-Taliro 대비 평균 23.9% 더 많은 요구사항 위반 사항을 발견하였다.
• ARIsTEO는 공개 벤치마크 모델 전체에 걸쳐 평균적으로 S-Taliro 대비 31.3% 더 빠르게 위반 사항을 탐지하였다.
• 위성 시스템을 포함한 산업 사례 연구에서 ARIsTEO는 세 개의 요구사항 위반 사항을 성공적으로 식별하였으며, 각각의 위반 사항을 탐지하는 데 평균 4시간이 소요되었다.
• 동일한 시간 제한 내에서 산업 사례 연구에서 S-Taliro는 각 요구사항에 대해 어떤 위반 사항도 탐지하지 못하였다.
• 보조 모델 생성 및 정련 과정은 전체 모델 시뮬레이션 횟수를 크게 줄여 전체 테스팅 효율성을 향상시켰다.
• ARIsTEO는 복잡한 실제 CI-CPS 모델에서 뛰어난 강건성과 확장성을 보이며, 효과성과 효율성 면에서 S-Taliro를 초월하였다.