[論文レビュー] Towards making formal methods normal: meeting developers where they are

Alastair Reid, Luke Church+4 more|arXiv (Cornell University)|Oct 30, 2020

Software Testing and Debugging Techniques参考文献 28被引用数 12

ひとこと要約

この論文は、開発者が日常的に使っているワークフロー、テスト手法、およびテストハーネスなどの既存のアーティファクトを活用することで、主流のソフトウェア開発に形式的検証を統合することを提唱する。採用を促進するための「週単位の費用対効果」比モデルを提唱し、完全な正しさの証明ではなく、段階的で実用的な利益に焦点を当て、10年以内に形式的技法の使用を2桁以上増やすことを目的としている。

ABSTRACT

Formal verification of software is a bit of a niche activity: it is only applied to the most safety-critical or security-critical software and it is typically only performed by specialized verification engineers. This paper considers whether it would be possible to increase adoption of formal methods by integrating formal methods with developers' existing practices and workflows. We do not believe that widespread adoption will follow from making the prevailing formal methods argument that correctness is more important than engineering teams realize. Instead, our focus is on what we would need to do to enable programmers to make effective use of formal verification tools and techniques. We do this by considering how we might make verification tooling that both serves developers' needs and fits into their existing development lifecycle. We propose a target of two orders of magnitude increase in adoption within a decade driven by ensuring a positive `weekly cost-benefit' ratio for developer time invested.

研究の動機と目的

• 現在の主流のソフトウェア開発において形式的技法が1%未塔にとどまっているという低採用状況に対処すること。
• 現在、安全関連システムに限定されている形式的技法の採用を妨げる、高い作業負荷と既存開発プロセスへの破壊的影響という障壁を乗り越えること。
• 完全な正しさの証明から、開発者の時間投資を正当化する、測定可能で短期的な利益への焦点を移すこと。
• テストや単体テストなどの既存の開発実践と形式的検証ツールを統合することで、広範な採用を可能にすること。
• 形式的ツールに費やす時間が、直ちに観察可能な利益によって正当化される持続可能な「週単位の費用対効果」比を確立すること。

提案手法

• テストハーネスや単体テストといった既存の開発者アーティファクトを、形式的検証の仕様や入力として再利用することで、形式的検証を実現すること。
• 性質ベースのテストと形式的検証の類似性を活用し、学習曲線の低下とツールへのなじみを高めること。
• 既存のCI/CDパイプラインやIDEにスムーズに統合できる検証ツールを設計し、ワークフローへの干渉を最小限に抑えること。
• 検証タスク間でのツール再利用と相互運用性を重視することで、ツールの分断を避け、保守負荷を低減すること。
• 複雑なコードの検証における予測可能性とパフォーマンスを向上させるためのプロファイリング手法および検証用設計ガイドラインを開発すること。
• 決定不能または証明が難しい性質に対して結果が不安定になる問題に対処するため、複数の検証ツールを組み合わせて使用する（フラキなテストの対処と同様に）。

実験結果

リサーチクエスチョン

• RQ1 開発実践の根本的転換を要せず、既存の開発ワークフローに形式的検証を統合する方法は何か？
• RQ2 日常的な開発において開発者が形式的技法に費やす時間を正当化する「週単位の費用対効果」比とはどのようなものか？
• RQ3 既存のテストアーティファクトをどれだけ形式的仕様や検証入力として再利用できるか？
• RQ4 決定不能な性質を扱う際でも、日常的な開発で信頼できるほどに検証ツールの予測可能性と信頼性を高めることは可能か？
• RQ5 形式的検証の認知的および工学的負担を軽減しながらも、ソフトウェアの信頼性を向上させるための設計およびツールリング実践は何か？

主な発見

• 論文では、現在のところ形式的検証を使用している開発者は1%未塔であると推定されており、広範な採用の余地が大きいことが示唆されている。
• 10年以内に100倍（2桁の増加）の採用拡大を達成するという、現実的でインパクトのある目標が提案されている。
• 週単位の費用対効果比が重要な指標であることが特定された：開発者が形式的技法を採用するのは、投資した時間に対して明確で短期的な利益が得られる場合に限る。
• テストハーネスや単体テストを形式的検証ツールの入力として再利用することで、導入の障壁が著しく低下し、統合が加速する。
• 複雑または決定不能な性質に対して検証結果が不安定になる問題は、フラキなテストと類似しており、プロファイリングと予測可能性を高めるためのツール支援が不可欠である。
• 検証を容易にする設計（コードを単純化するように変更）という実践は、ツールのパフォーマンスと開発者の信頼性を向上させ、既存のハードウェア設計原則に類似した効果をもたらす。