[論文レビュー] Build It, Break It, Fix It: Contesting Secure Development

James Parker, Michael Hicks+6 more|arXiv (Cornell University)|Jul 2, 2019

Information and Cyber Security参考文献 22被引用数 24

ひとこと要約

本論文は、競争的な構築、脆弱性の発見、パッチ適用の段階を統合した、新たな枠組みであるBuild It, Break It, Fix It (BIBIFI)セキュリティコンテストを紹介する。主な発見として、静的型付け言語はC/C++と比較してセキュリティ上の欠陥を11倍も低減することが示された。また、構築と破壊の両方に熟練したチームは、脆弱性を特定する能力が著しく優れていた。

ABSTRACT

Typical security contests focus on breaking or mitigating the impact of buggy systems. We present the Build-it, Break-it, Fix-it (BIBIFI) contest, which aims to assess the ability to securely build software, not just break it. In BIBIFI, teams build specified software with the goal of maximizing correctness, performance, and security. The latter is tested when teams attempt to break other teams' submissions. Winners are chosen from among the best builders and the best breakers. BIBIFI was designed to be open-ended; teams can use any language, tool, process, etc. that they like. As such, contest outcomes shed light on factors that correlate with successfully building secure software and breaking insecure software. We ran three contests involving a total of 156 teams and three different programming problems. Quantitative analysis from these contests found that the most efficient build-it submissions used C/C++, but submissions coded in a statically-type safe language were 11 times less likely to have a security flaw than C/C++ submissions. Break-it teams that were also successful build-it teams were significantly better at finding security bugs.

研究の動機と目的

• サイバーセキュリティ教育および研究におけるギャップを埋めるために、脆弱性の悪用のみを評価するのではなく、セキュアなソフトウェア開発そのものを評価するコンテストを創出すること。
• 現実世界に近い環境下で、セキュアなソフトウェアの構築および効果的な脆弱性発見に影響を与える要因を調査すること。
• プログラミング言語の選択、チーム編成、開発手法がソフトウェアセキュリティの成果に与える影響について、実証的データを提供すること。
• 深く、広く、正確な脆弱性レポートを促進するインcentiveが整合した、スケーラブルなコンテストフレームワークを構築すること。
• セキュアなソフトウェア工学の実践を研究するプラットフォームとしての役割を果たし、セキュアな開発の改善を促進すること。

提案手法

• BIBIFIは3段階のコンテスト形式を採用する：Build-it（チームが仕様に従ってセキュアなソフトウェアを実装）、Break-it（他のチームのコードに存在する脆弱性を発見・報告）、Fix-it（脆弱性の報告を受けた開発者がパッチを適用し、重複した修正で得点を回復）。
• 正しさ、パフォーマンス、セキュリティを評価するスコアリングを設計し、上位の構築者と上位の破壊者について別々の順位付けが行われる。
• 有効かつ独自の脆弱性レポートに対してポイントが与えられる。重複するレポート、または同じ根本的欠陥を指摘するレポートはスコアを低下させ、重複した提出を抑える。
• 自動化されたオラクルを用いてテストケースを検証し、報告された欠陥の再現性を保証する。
• 156のチームが参加した3回のコンテストから、アーティファクト、アンケート、参加ログを含むデータを収集し、分析に用いた。
• 定量的分析により、開発手法（言語、チーム規模、テスト）とBuild-itおよびBreak-itのパフォーマンス結果との相関を評価した。

実験結果

リサーチクエスチョン

• RQ1 プログラミング言語の選択が、セキュアなソフトウェア実装におけるセキュリティ欠陥の発生確率にどのように影響するか？
• RQ2 セキュアなソフトウェアを構築する能力に優れたチームは、他のチームのコードにおける脆弱性発見においても顕著に優れているか？
• RQ3 チーム規模は、Break-it段階における脆弱性発見の効果性にどのように影響するか？
• RQ4 どのような開発手法が、高品質なセキュアなソフトウェアと、より効果的な脆弱性検出に相関しているか？
• RQ5 スコアリングシステムのインcentive構造は、脆弱性レポートの質と多様性にどのように影響するか？

主な発見

• C/C++は、高性能なBuild-it提出物を実装するのに最も効率的であったが、静的型付け言語と比較して著しく高いセキュリティ欠陥発生率を示した。
• 静的型付け言語で書かれた提出物は、C/C++で書かれたものと比較して、セキュリティ欠陥を11倍も低減していた。
• 成功したBuild-itチームでもあるBreak-itチームは、セキュリティ脆弱性を特定する能力が著しく優れており、セキュアなコーディングスキルと脆弱性発見能力の間には強い相関があることが示された。
• より大きなBreak-itチームは、コード監査が並列処理に適しているため、ソフトウェアを破壊する能力が高かった。
• インcentive構造により、重複した報告が効果的に抑制され、複数の提出物に対して広く深く脆弱性を探索する傾向が促された。
• このコンテストフレームワークは、セキュアなソフトウェア開発実践に関する高品質で実証的根拠に基づくデータを効果的に生成し、研究および教育のプラットフォームとしての有効性を裏付けた。