[論文レビュー] Applying Formal Methods Tools to an Electronic Warfare Codebase (Experience report)

Letitia W. Li, Denley Lam+4 more|arXiv (Cornell University)|Jan 16, 2026

Software Testing and Debugging Techniques被引用数 0

ひとこと要約

この論文はオープンソースの C/C++ 形式手法ツールをカタログ化し、EWシステムの脆弱性のカバレッジを比較し、実用的な推奨事項を伴う実CI/CDワークフローへの統合における使い勝手の障壁を報告します。

ABSTRACT

While using formal methods offers advantages over unit testing, their steep learning curve can be daunting to developers and can be a major impediment to widespread adoption. To support integration into an industrial software engineering workflow, a tool must provide useful information and must be usable with relatively minimal user effort. In this paper, we discuss our experiences associated with identifying and applying formal methods tools on an electronic warfare (EW) system with stringent safety requirements and present perspectives on formal methods tools from EW software engineers who are proficient in development yet lack formal methods training. In addition to a difference in mindset between formal methods and unit testing approaches, some formal methods tools use terminology or annotations that differ from their target programming language, creating another barrier to adoption. Input/output contracts, objects in memory affected by a function, and loop invariants can be difficult to grasp and use. In addition to usability, our findings include a comparison of vulnerabilities detected by different tools. Finally, we present suggestions for improving formal methods usability including better documentation of capabilities, decreased manual effort, and improved handling of library code.

研究の動機と目的

• 安全 critical な EW コードベース（C++）に対して形式手法の実現可能性を評価する。
• 形式的根拠を持つオープンソースの C++ 検証ツールを調査し、手法と使いやすさで分類する。
• EW システムの脆弱性クラスを扱うツールを特定する。
• 産業ワークフローにおける注釈ベースツールと静的解析ツールの適用課題を評価する。
• ツールの使いやすさと開発プロセスへの統合を改善する具体的提案を提供する。

提案手法

• 基礎となる形式手法（例：SAT解法、抽象解釈、Hoare論理）を分類して、C/C++ に適したオープンソース形式手法ツールを調査する。
• 注釈の必要性、統合の労力、保守状況などの使いやすさの側面を評価する。
• 選定したツールを実 EW コードベースに適用し、指定された安全性特性（メモリ、スレッド、パーサー等）のカバレッジを評価する。
• 異なるツールが検出した脆弱性を比較し、偽陽性と差異を分析する。
• CI/CD 統合要件とパフォーマンス影響を評価する。
• ツールの使いやすさ、ドキュメント、ライブラリコードの扱いを改善する提案を行う。

Figure 1 : Vulnerability hierarchy

実験結果

リサーチクエスチョン

• RQ1 EW コードベースで特定された脆弱性クラス（メモリ安全性、スレッド、パーサなど）をカバーするオープンソース形式手法ツールはどれか。
• RQ2 形式手法の訓練を受けていない通常の開発者にとって、これらのツールはどれだけ使いやすいか。
• RQ3 注釈負担、ドキュメンテーション、ライブラリの取り扱いなど、産業ワークフローでの採用を妨げる障壁は何か、どう緩和できるか。
• RQ4 EW 文脈でのカバレッジと偽陽性の観点から、異なるツール間の結果はどの程度一致するか。

主な発見

Tool	Type of Formal Method	Type of Interaction	Last update	Security Classes	table_headers_translated_to_japanese_enforced?
CBMC	SAT solving	Command line interface with compilation	07/09/2025	Memory leak, Overflow, Dangling pointer
ESBMC	SAT solving	Command line interface	10/12/2025	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition
Clang Analyzer	Symbolic execution	Command line interface with compilation	10/07/2025	Memory leak, Overflow, Dangling pointer, Unsafe function, Deadlock
CN	Separation logic	Code annotation	10/08/2025	Memory leak, Overflow, Dangling pointer
Crux	Symbolic execution	Code annotation	03/24/2025	Overflow
Faial	SMT	Command line interface or Git action	04/13/2024	Race condition
Frama-Clang	Hoare logic (WP Plugin), Abstract interpretation (Eva Plugin)	Code annotation	06/25/2025	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition
IKOS	Abstract interpretation	Command line interface	12/31/2024	Overflow, Dangling pointer
Infer	Separation logic	Command line interface, Code annotation	06/21/2024	Memory leak, Overflow, Dangling pointer, Deadlock, Race condition

• 単一のツールが全ての対象脆弱性をカバーするわけではなく、異なるツールが異なるクラス（メモリリーク、オーバーフロー、デッドロック、競合状態等）に対応している。
• 注釈ベースのツールは強力な特性検証を提供するが、採用の障壁となる大規模な手動注釈が必要となる。
• 静的解析ツールは低労力でのチェックを提供するが、カバレッジがツールごとに一定せず、特にライブラリコードでの結果にばらつきが見られる。
• ライブラリコードのため結果がノイズとなることがあり、ソースとライブラリの問題を分離するためのフィルタリングや仮定が必要となる。
• 用語の標準化とドキュメントの改善が、ツールの比較と採用を容易にする。
• 注釈生成の自動化は手動の労力を削減し、エンジニアの実用性を向上させる。

Figure 2 : CodeChecker UI