[論文レビュー] SAVIOR: Towards Bug-Driven Hybrid Testing

Yaohui Chen, Peng Li+6 more|arXiv (Cornell University)|Jun 18, 2019

Software Testing and Debugging Techniques参考文献 51被引用数 4

ひとこと要約

SAVIORは、コードカバレッジではなく脆弱性の潜在的リスクに基づいて優先順位をつけることで、バグ駆動型のハイブリッドソフトウェアテストフレームワークを新たに提案する。対話的実行を脆弱性の潜在的リスクが高い分岐に対して優先し、SMT制約を用いて実行パスに沿ったすべての候補脆弱性を検証することで、脆弱性を検出する。24時間のベンチマークプログラムで、Driller より 43.4% 速く、QSYM より 44.3% 速く脆弱性を検出でき、それぞれ 88 個および 76 個の追加のセキュリティ違反を発見した。

ABSTRACT

Hybrid testing combines fuzz testing and concolic execution. It leverages fuzz testing to test easy-to-reach code regions and uses concolic execution to explore code blocks guarded by complex branch conditions. However, its code coverage-centric design is inefficient in vulnerability detection. First, it blindly selects seeds for concolic execution and aims to explore new code continuously. However, as statistics show, a large portion of the explored code is often bug-free. Therefore, giving equal attention to every part of the code during hybrid testing is a non-optimal strategy. It slows down the detection of real vulnerabilities by over 43%. Second, classic hybrid testing quickly moves on after reaching a chunk of code, rather than examining the hidden defects inside. It may frequently miss subtle vulnerabilities despite that it has already explored the vulnerable code paths. We propose SAVIOR, a new hybrid testing framework pioneering a bug-driven principle. Unlike the existing hybrid testing tools, SAVIOR prioritizes the concolic execution of the seeds that are likely to uncover more vulnerabilities. Moreover, SAVIOR verifies all vulnerable program locations along the executing program path. By modeling faulty situations using SMT constraints, SAVIOR reasons the feasibility of vulnerabilities and generates concrete test cases as proofs. Our evaluation shows that the bug-driven approach outperforms mainstream automated testing techniques, including state-of-the-art hybrid testing systems driven by code coverage. On average, SAVIOR detects vulnerabilities 43.4% faster than DRILLER and 44.3% faster than QSYM, leading to the discovery of 88 and 76 more uniquebugs,respectively.Accordingtotheevaluationon11 well fuzzed benchmark programs, within the first 24 hours, SAVIOR triggers 481 UBSAN violations, among which 243 are real bugs.

研究の動機と目的

• 高いコードカバレッジを達成しても、実際の脆弱性が検出されないという、コードカバレッジ駆動型ハイブリッドテストの非効率性を是正すること。
• 実行可能で利用可能な脆弱性の発見までの遅延を短縮するために、より高い利用可能性の潜在的リスクを持つシードおよびパスを優先すること。
• 形式的証明を用いて実行パスに沿ったすべての脆弱性候補を検証することで、検出精度を向上させること。
• 脆弱性検出の速度と包括性の両面で、既存のハイブリッドテストツールを上回ること。

提案手法

• SAVIORは、脆弱性を露呈する可能性の高い分岐条件の優先順位を付けるバグ駆動型の優先戦略を採用し、対話的実行を高リスクのパスに導く。
• 実行中、SMT制約を用いて実行パスに沿ったすべての潜在的脆弱性をモデル化・検証し、その実現可能性または非存在を証明する。
• コードカバレッジに依存するのではなく、実行可能で利用可能な欠陏を引き起こす可能性の高いシードを動的に選択することで、ファズテストのシードを選別する。
• 脆弱性ラベル付けと記号的実行を統合し、すべての候補故障を検査することで、実際のセキュリティ違反を正確に特定する。
• 検証済みの脆弱性がさらなる探索を導くフィードバック駆動型のループで、ファズテストと対話的実行を統合する。
• 実行中に細かく欠陊を追跡できるように、プログラムをUBSanスタイルのチェックおよび脆弱性ラベルでインストルメント化する。

実験結果

リサーチクエスチョン

• RQ1 バグ駆動型アプローチは、コードカバレッジ駆動型ハイブリッドテストに比べ、脆弱性検出の効率性において優れていると言えるか？
• RQ2 Driller や QSYM といった最先端のツールと比較して、SAVIORは実行可能で利用可能な脆弱性の特定においてどの程度効果的か？
• RQ3 バグガイドド検証は、誤検出をどの程度低減し、検出精度を向上させるか？
• RQ4 高い潜在的リスクを持つ分岐を優先することで、実際のセキュリティ違反の検出までの時間はどの程度短縮されるか？
• RQ5 SMT制約による形式的検証は、ハイブリッドテストにおける脆弱性検出の信頼性を向上させることができるか？

主な発見

• SAVIORは、24時間のテスト期間内でDrillerより平均して43.4%、QSYMより44.3%速く脆弱性を検出できた。
• 11の有名なファズテストベンチマークで、24時間以内にDrillerより88個、QSYMより76個の追加のセキュリティ違反を発見した。
• 最初の24時間で481件のユニークなセキュリティ違反を特定し、包括性と検出速度の両面で優れた性能を示した。
• 実行パスに沿ったすべての脆弱性候補を検証することで、SAVIORは誤検出を低減し、報告された結果に対する信頼性を向上させた。
• バグガイドド検証技術により、SMT制約を用いて脆弱性の実現可能性または非存在を正当に証明でき、信頼性が向上した。
• 評価により、高い潜在的リスクを持つパスを優先することで、カバレッジを損なわず、検出までの時間が著しく短縮されることが確認された。