[논문 리뷰] Applying Formal Methods Tools to an Electronic Warfare Codebase (Experience report)

Letitia W. Li, Denley Lam외 4명|arXiv (Cornell University)|2026. 01. 16.

Software Testing and Debugging Techniques인용 수 0

한 줄 요약

이 논문은 오픈 소스 C/C++ 형식적 방법 도구를 목록화하여 EW 시스템 취약점에 대한 커버리지를 비교하고, 사용성 제약과 실무 CI/CD 워크플로우에의 통합에 관한 실용적 권고를 보고한다.

ABSTRACT

While using formal methods offers advantages over unit testing, their steep learning curve can be daunting to developers and can be a major impediment to widespread adoption. To support integration into an industrial software engineering workflow, a tool must provide useful information and must be usable with relatively minimal user effort. In this paper, we discuss our experiences associated with identifying and applying formal methods tools on an electronic warfare (EW) system with stringent safety requirements and present perspectives on formal methods tools from EW software engineers who are proficient in development yet lack formal methods training. In addition to a difference in mindset between formal methods and unit testing approaches, some formal methods tools use terminology or annotations that differ from their target programming language, creating another barrier to adoption. Input/output contracts, objects in memory affected by a function, and loop invariants can be difficult to grasp and use. In addition to usability, our findings include a comparison of vulnerabilities detected by different tools. Finally, we present suggestions for improving formal methods usability including better documentation of capabilities, decreased manual effort, and improved handling of library code.

연구 동기 및 목표

• C++로 작성된 안전-중요 EW 코드베이스에 대한 형식적 방법의 실현 가능성을 평가한다.
• 형식적 기초를 갖춘 오픈 소스 C++ 검증 도구를 조사하고, 방법 및 사용성에 따라 분류한다.
• EW 시스템의 취약점 분류를 다루는 도구를 식별한다.
• 산업 현장 워크플로우에서 주석 기반 도구와 정적 분석 도구의 채택과 관련된 도전을 평가한다.
• 도구의 사용성 향상과 개발 프로세스에의 통합을 위한 실행 가능한 권고를 제공한다.

제안 방법

• C/C++에 적합한 오픈 소스 형식적 방법 도구를, 기반 형식적 방법(e.g., SAT 솔빙, 추상 해석, 호어 로직)으로 분류하여 조사한다.
• 필요한 주석, 통합 노력, 유지 관리 상태를 포함한 도구의 사용성 측면을 평가한다.
• 선정된 도구를 실제 EW 코드베이스에 적용하여 명시된 안전 속성(메모리, 스레딩, 파서)에 대한 커버리지를 평가한다.
• 다른 도구가 탐지한 취약점을 비교하고 거짓 양성 및 차이를 분석한다.
• CI/CD 통합 요건과 성능 함의를 평가한다.
• 도구의 사용성, 문서화 및 라이브러리 코드 처리 개선 권고를 제안한다.

Figure 1 : Vulnerability hierarchy

실험 결과

연구 질문

• RQ1 EW 코드베이스의 식별된 취약점 분류(메모리 안전성, 스레딩, 파싱 등)를 커버하는 오픈 소스 형식적 방법 도구는 어떤 것들인가?
• RQ2 제한된 형식적 방법 교육을 받은 일반 개발자에게 이 도구들은 얼마나 사용 가능한가?
• RQ3 주석 부담, 문서화, 라이브러리 처리 등 산업 현장 워크플로우에서 채택을 방해하는 장애물은 무엇이며 어떻게 완화될 수 있는가?
• RQ4 EW 맥 Context에서 도구 간 커버리지와 거짓 양성 측면에서 결과는 어떻게 비교되는가?

주요 결과

도구	형식적 방법의 유형	상호 작용 유형	최종 업데이트	보안 분류
CBMC	SAT solving	Command line interface with compilation	07/09/2025	Memory leak, Overflow, Dangling pointer
ESBMC	SAT solving	Command line interface	10/12/2025	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition
Clang Analyzer	Symbolic execution	Command line interface with compilation	10/07/2025	Memory leak, Overflow, Dangling pointer, Unsafe function, Deadlock
CN	Separation logic	Code annotation	10/08/2025	Memory leak, Overflow, Dangling pointer
Crux	Symbolic execution	Code annotation	03/24/2025	Overflow
Faial	SMT	Command line interface or Git action	04/13/2024	Race condition
Frama-Clang	Hoare logic (WP Plugin), Abstract interpretation (Eva Plugin)	Code annotation	06/25/2025	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition
IKOS	Abstract interpretation	Command line interface	12/31/2024	Overflow, Dangling pointer
Infer	Separation logic	Command line interface, Code annotation	06/21/2024	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition

• 하나의 도구로 모든 대상 취약점을 다루지 못한다; 도구마다 서로 다른 분류를 다루고 있다(메모리 누수, 오버플로우, 교착 상태, 레이스 컨디션 등).
• 주석 기반 도구는 강력한 속성 검증을 제공하지만 상당한 수동 주석이 필요해 도입 마찰을 증가시킨다.
• 정적 분석 도구는 낮은 노력을 필요로 하는 검사를 제공하지만 커버리지가 도구 간에 다르고 도서 코드에서 일관성 없는 결과를 보인다.
• 라이브러리 코드로 인해 결과가 시끄러울 수 있으며 소스와 라이브러리 이슈를 구분하기 위한 필터링이나 가정이 필요하다.
• 용어 표준화와 문서화 개선은 도구 비교와 채택을 단순화할 것이다.
• 주석 생성의 자동화는 수작업 노력을 줄이고 엔지니어의 실용성을 향상시킬 수 있다.

Figure 2 : CodeChecker UI