[논문 리뷰] Applying Model Checking to Highly-Configurable Safety Critical Software: The SPS-PPS PLC Program

Borja Fernández Adiego, Lopez-Miguel, Ignacio D.외 4명|arXiv (Cornell University)|2022. 01. 01.

Radiation Effects in Electronics인용 수 5

한 줄 요약

이 논문은 CERN에서 개발한 모델 체킹 플랫폼인 PLCverif를 사용하여 고도로 구성 가능한 SPS 인명보호시스템(PPS)의 PLC 프로그램을 검증하며, 시스템의 시운전 이전에 사양 결함과 PLC 버그를 탐지할 수 있음을 입증한다. 이 방법은 자동 모델 생성과 형식적 검증을 통해 복잡한 구성 공간을 효율적으로 처리하며, 안전성이 중요한 상호운용 논리에서 심각한 문제를 드러낸다.

ABSTRACT

An important aspect of many particle accelerators is the constant evolution and frequent configuration changes that are needed to perform the experiments they are designed for. This often leads to the design of configurable software that can absorb these changes and perform the required control and protection actions. This design strategy minimizes the engineering and maintenance costs, but it makes the software verification activities more challenging since safety properties must be guaranteed for any of the possible configurations. Software model checking is a popular automated verification technique in many industries. This verification method explores all possible combinations of the system model to guarantee its compliance with certain properties or specification. This is a very appropriate technique for highly configurable software, since there is usually an enormous amount of combinations to be checked. This paper presents how PLCverif, a CERN model checking platform, has been applied to a highly configurable Programmable Logic Controller (PLC) program, the SPS Personnel Protection System (PPS). The benefits and challenges of this verification approach are also discussed.

연구 동기 및 목표

• 매우 넓은 구성 공간을 가진 안전성이 중요한 고도로 구성 가능한 PLC 프로그램을 검증하는 데 도전하는 것.
• 실제 산업 제어 시스템에서 사양 및 구현 결함을 탐지하는 데 있어 PLCverif를 통한 모델 체킹의 효과성을 평가하는 것.
• 기존 테스트로는 놓칠 수 있는 코너 케이스 행동을 식별하여 SPS-PPS 시스템의 신뢰성을 향상시키는 것.

제안 방법

• FBD 또는 STL 형식의 PLC 코드에서 자동으로 형식 모델을 생성하는 오픈소스 플랫폼인 PLCverif를 사용한다.
• 세 가지 최신 기술의 모델 체커인 nuXmv, Theta, CBMC를 통합하여 포괄적인 검증을 수행한다.
• 큰 구성 공간에서 발생하는 상태공간의 폭발 문제를 완화하기 위해 추상화 및 단순화 기법을 적용한다.
• 가짜 형식 사양에서 유도된 PLCverif 입력 형식의 진술으로 기능 요구사항을 형식화한다.
• 모드 전환 및 키 해제 논리와 같은 안전성이 중요한 기능을 형식적 진술을 통해 검증한다.
• 모델 체커가 생성한 반례를 분석하여 사양 오류 또는 PLC 버그를 진단한다.

실험 결과

연구 질문

• RQ1 모델 체킹이 기하급수적으로 큰 구성 공간을 가진 고도로 구성 가능한 PLC 프로그램을 효과적으로 검증할 수 있는가?
• RQ2 PLCverif는 안전성이 중요한 상호운용 시스템에서 사양 갭과 구현 버그를 얼마나 효과적으로 탐지하는가?
• RQ3 형식적 검증은 산업 제어 시스템에서 기존 테스트를 얼마나 잘 보완할 수 있는가?
• RQ4 입자 가속기에서 실제 PLC 프로그램에 모델 체킹을 적용할 때 발생하는 실용적 과제는 무엇인가?
• RQ5 모델 체킹은 모든 구성에 걸쳐 복잡한 시스템 행동을 이해하는 데 전문가의 이해를 어떻게 향상시키는가?

주요 결과

• 문서만으로는 드러나지 않았던 형식화된 진술에 변수가 누락되어 SIF-2 기능에 사양 오류가 발견되었다.
• 반례를 통해 SIF-2 기능의 키 해제 논리에 심각한 버그가 발견되었으며, 이는 시운전 이전에 수정되었다.
• SIF-2 기능의 형식적 검증은 147초가 소요되었으며, 안전 체인 15의 키 해제 조건에 논리적 모순이 있음을 드러냈다.
• 시스템의 모드 전환 논리는 93초 만에 형식적으로 검증되었으며, 핵심 안전 조건을 누락한 불완전한 사양이 드러났다.
• 모델 체킹은 전문가가 수동으로 추론하기 어려운 바람직하지 않은 코너 케이스를 성공적으로 탐지하여 사양의 명확성을 향상시켰다.
• 이 방법은 특히 안전성이 중요한 시스템에서 모든 가능한 구성에 걸친 동작을 검증하는 데 있어 실험실 테스트의 보완으로 효과적임을 입증했다.