[논문 리뷰] An Entry Point for Formal Methods: Specification and Analysis of Event Logs

Howard Barringer, Alex Groce외 2명|arXiv (Cornell University)|2010. 03. 08.

Software Testing and Debugging Techniques인용 수 8

한 줄 요약

이 논문은 화성 과학 탐사선 미션에서 사전에 확보한 이벤트 로그를 이용해 형식적 명세 언어를 적용하여 실시간 장비 설치 없이도 확장 가능한 런타임 검증을 수행하는 방법을 제안한다. 로그를 형식적 추적으로 간주하고 요구사항을 이벤트 시퀀스로 명세화함으로써, 패턴 기반 규칙, 상태 기계, 그리고 테스트 실행에서의 자동 명세 학습을 지원하는 도메인 특화 언어를 활용한 복잡한 비행 소프트웨어 테스팅의 실용적인 방법을 입증한다.

ABSTRACT

Formal specification languages have long languished, due to the grave scalability problems faced by complete verification methods. Runtime verification promises to use formal specifications to automate part of the more scalable art of testing, but has not been widely applied to real systems, and often falters due to the cost and complexity of instrumentation for online monitoring. In this paper we discuss work in progress to apply an event-based specification system to the logging mechanism of the Mars Science Laboratory mission at JPL. By focusing on log analysis, we exploit the "instrumentation" already implemented and required for communicating with the spacecraft. We argue that this work both shows a practical method for using formal specifications in testing and opens interesting research avenues, including a challenging specification learning problem.

연구 동기 및 목표

• 실제 우주항공 시스템에서 형식적 검증의 확장성과 실용성 문제를 해결하기 위해.
• 실시간 장비 설치를 요구하지 않고도 형식적 명세 기반 테스팅을 가능하게 하기 위해 기존 이벤트 로그를 활용하기 위해.
• 테스트 엔지니어가 사용하기 쉽게도 충분히 표현력이 뛰어난 도메인 특화 명세 언어를 개발하기 위해.
• 성공적인 테스트 실행에서의 자동 명세 학습을 통해 수동 명세 작업의 부담을 줄이기 위해.
• 제플린 연구소(JPL)의 비행 소프트웨어 테스트 파이프라인에 형식적 검증을 통합하여 테스트의 신뢰성과 유지보수성을 향상시키기 위해.

제안 방법

• 우주선 테스트 동안 생성된 이벤트 로그의 오프라인 분 析를 통해 실행 추적으로 간주하여 형식적 검증을 수행한다.
• 패턴 기반 규칙과 매개변수화된 이벤트 및 데이터 바인딩 기능을 지원하는 도메인 특화 명세 언어를 도입한다.
• 패턴 언어는 Ruler에서 유도된 더 표현력이 뛰어난 규칙 기반 언어로 컴파일되어 복잡한 이벤트 시퀀스 검증이 가능해진다.
• 파이썬으로 정의된 사용자 정의 조건자(Predicate)는 필드 값과 유도 조건 검사를 허용하여 명세의 표현력을 확장한다.
• 성공적인 테스트 실행에서 공통된 실행 패턴을 추출하는 학습 기능을 통해 자동으로 후보 명세를 생성한다.
• Graphviz를 사용해 명세를 시각화하고, 위반 사항은 로그 파일 참조와 함께 보고되어 추적 가능성을 높인다.

Figure 1: observable events of a system

실험 결과

연구 질문

• RQ1 기존 이벤트 로그를 사용하여 실시간 장비 설치 없이도 형식적 명세 기법을 실제 우주항공 시스템에 효과적으로 적용할 수 있는가?
• RQ2 도메인 특화 언어가 테스트 엔지니어가 형식적 명세를 사용하고 유지보수하는 데 있어 얼마나 향상시키는가?
• RQ3 성공적인 테스트 실행에서의 자동 명세 학습이 수동 명세 작업의 부담을 얼마나 줄이는가?
• RQ4 복잡한 소프트웨어 테스트 워크플로우에서 로그 분석에 형식적 방법을 적용할 때 실질적인 이점은 무엇인가?
• RQ5 기존 테스트 파이프라인에 형식적 방법을 통합함으로써 테스트의 신뢰성 향상과 오류 감소에 기여할 수 있는가?

주요 결과

• 제안된 방법은 복잡한 런타임 장비 설치 없이도 사전 확보한 이벤트 로그를 이용해 비행 소프트웨어의 형식적 검증을 성공적으로 수행하였다.
• 테스트 엔지니어들은 명세 언어를 직관적이고 사용하기 쉽게 평가하여 MSL 테스트 파이프라인에 신속하게 통합되었다.
• 명세 학습 기능은 '좋은' 테스트 실행에서의 패턴을 자동으로 추출함으로써 세부 패턴을 수작업으로 작성하는 부담을 크게 줄였다.
• 시스템은 정확한 오류 추적 정보를 로그 파일 참조와 연결하여 위반 사항을 탐지함으로써 디버깅 가능성과 추적 가능성을 향상시켰다.
• 대규모 이벤트 로그를 복잡한 우주선 시스템에서 분석함으로써 실용적인 확장성의 가능성을 입증하였다.
• 이 방법은 안전이 중요한 시스템에서 이벤트 시퀀스로부터의 명세 마이닝 및 학습 분야에 새로운 연구 방향을 열었다.