[논문 리뷰] Formal Requirement Elicitation and Debugging for Testing and Verification of Cyber-Physical Systems

Adel Dokhanchi, Bardh Hoxha외 1명|arXiv (Cornell University)|2016. 07. 08.

Formal Methods in Verification참고 문헌 28인용 수 4

한 줄 요약

이 논문은 메트릭 간격 시간 논리(MITL) 및 신호 시간 논리(STL) 사양에서 논리적 모순을 탐지하는 사이버-물리 시스템(CPS)을 위한 형식적 사양 디버깅 프레임워크를 제안한다. 자동 검증, 중복 제거 및 허공성 탐지(특히 시스템 트레이서에 대한 신호 허공성)를 통해 오류를 조기에 식별하여 테스트 및 검증에서 잘못된 양성 결과를 줄인다.

ABSTRACT

A framework for the elicitation and debugging of formal specifications for Cyber-Physical Systems is presented. The elicitation of specifications is handled through a graphical interface. Two debugging algorithms are presented. The first checks for erroneous or incomplete temporal logic specifications without considering the system. The second can be utilized for the analysis of reactive requirements with respect to system test traces. The specification debugging framework is applied on a number of formal specifications collected through a user study. The user study establishes that requirement errors are common and that the debugging framework can resolve many insidious specification errors.

연구 동기 및 목표

• 전문가들 사이에서도 흔히 발생하는 사이버-물리 시스템(CPS)의 형식적 요구사항에서의 사양 오류 문제를 해결한다.
• 사양 수집 단계에서 MITL 및 STL 사양에서 타류, 중복 및 허공성과 같은 논리적 결함을 식별한다.
• 테스트 또는 검증 이전에 사양 문제를 조기에 탐지하여 낭비되는 노력과 잘못된 시스템 정확성에 대한 오해를 방지한다.
• 시스템 트레이서를 활용하여 실시간 사양에 대한 허공성 탐지를 확장하여 논리적 분석만으로는 탐지할 수 없는 미묘한 사양 오류를 드러낸다.
• ViSpec 도구에 디버깅 프레임워크를 통합하여 산업 및 학술 사용자가 정확한 형식적 사양을 개발하는 데 지원한다.

제안 방법

• MITL의 일부 분할에 대해 유효성(타류 또는 만족 불가능성), 중복 및 허공성 검사를 수행하는 사양 디버깅 알고리즘을 제안한다.
• LTL 허공성 탐지 기법을 실시간 MITL 사양에 적용하여 시스템 신호에 대한 허공성 분석을 가능하게 한다.
• 선결 조건 실패 변형을 통한 신호 허공성 검사 구현: 각 공식에 대해 선결 조건이 거짓이 되도록 변형된 버전을 생성하고 원본 공식이 여전히 성립하는지 확인한다.
• S-TaLiRo 도구를 사용하여 시스템 시뮬레이션을 실행하고, 형식적 요구사항에 대해 궤적을 모니터링하여 허공성 분석을 위한 트레이서를 수집한다.
• 실제 사례 연구에서 얻은 MITL 요구사항을 사용하여 자동 기어박스(AT) 시스템의 Simulink 모델에 디버깅 프레임워크를 적용한다.
• 원본 공식을 만족하는 신호 수와 선결 조건 실패 변형 공식을 만족하는 신호 수를 비교하여 허공성 결과를 보고한다. 이는 허공적 만족를 식별한다.

실험 결과

연구 질문

• RQ1 형식적 논리 교육을 받은 사용자들 사이에서도 타류나 허공성과 같은 사양 오류가 얼마나 흔하게 발생하는가?
• RQ2 시스템 행동에 의존하지 않고도 자동 디버깅 기법이 MITL 및 STL 사양의 논리적 모순을 탐지할 수 있는가?
• RQ3 논리적 분석만으로는 탐지할 수 없는 사양 문제를 신호 기반 허공성 탐지가 얼마나 효과적으로 드러내는가?
• RQ4 시스템 트레이서를 활용한 허공성 탐지가 CPS 검증에서 테스트 케이스 생성 및 반증의 품질을 향상시키는가?
• RQ5 사양 디버깅의 실용적 영향은 CPS 테스트 및 검증 파이프라인에서 잘못된 양성 결과를 줄이는 데 얼마나 기여하는가?

주요 결과

• 형식적 논리 교육을 받은 경험이 있는 사용자들조차도 중요한 사양 오류를 범했는데, 예를 들어 공식 $\varphi=\Diamond_{[0,30]}((v>100)\Rightarrow\Box_{[0,20]}(v>100))$ 는 타류이므로 무효하다.
• 프레임워크는 요구사항 $\phi^{AT}_1$ 에 대해 2000개의 시스템 트레이서 중 1989개가 허공적이라는 것을 성공적으로 탐지했다.
• $\phi^{AT}_2$ 에서는 2000개의 트레이서 중 1994개가 허공적이었으며, 이는 사양의 조건이 거의 또는 전혀 발생하지 않았음을 보여준다.
• 허공성 분석 결과, $\phi^{AT}_3$ 에 대해 307개의 트레이서 중 97개만 비허공적이었고, 이는 조건이 거의 또는 전혀 발생하지 않았음을 시사한다.
• $\phi^{AT}_4$ 에서는 2000개의 트레이서 중 1996개가 허공적이었으며, 이는 시뮬레이션 기간 동안 선결 조건(v ≥ 80)이 거의 충족되지 않았음을 나타낸다.
• 결과적으로, 허공성은 실세계 CPS 사양에서 광범위하게 존재하며, 검증 이전에 사양 품질을 향상시키기 위해 자동 탐지는 필수적임을 보여준다.