[論文レビュー] Mutation Analysis: Answering the Fuzzing Challenge

Rahul Gopinath, Philipp Görz+1 more|arXiv (Cornell University)|Jan 27, 2022

Software Testing and Debugging Techniques被引用数 4

ひとこと要約

本論文は、コードカバレッジやシードされたバグベンチマークといった従来のファズァー評価メトリクスの代替として、バグ検出能力の高い、バイアスのない代替手段として、変異解析を提案する。コードカバレッジやシードされたバグベンチマークの代替として、変異解析をファズィングに適用する際の課題——計算コストの高さ、非決定性、統合ツールの欠如——を解決するために、ハイブリッド評価曲線、静的テストスイートを用いた冗長性低減、同等変異体の推定を導入し、変異解析をファズィング研究における包括的で信頼できるオラクル品質メトリクスとして位置づける。

ABSTRACT

Fuzzing is one of the fastest growing fields in software testing. The idea behind fuzzing is to check the behavior of software against a large number of randomly generated inputs, trying to cover all interesting parts of the input space, while observing the tested software for anomalous behaviour. One of the biggest challenges facing fuzzer users is how to validate software behavior, and how to improve the quality of oracles used. While mutation analysis is the premier technique for evaluating the quality of software test oracles, mutation score is rarely used as a metric for evaluating fuzzer quality. Unless mutation analysis researchers can solve multiple problems that make applying mutation analysis to fuzzing challenging, mutation analysis may be permanently sidelined in one of the most important areas of testing and security research. This paper attempts to understand the main challenges in applying mutation analysis for evaluating fuzzers, so that researchers can focus on solving these challenges.

研究の動機と目的

• ファズィングにおけるオラクル品質という、効果的な脆弱性検出の主要な障壁である、根本的な課題に対処すること。
• 変異解析がファズァー評価に採用されない主な技術的・実務的障壁を特定し、分析すること。
• ファズァーの有効性を評価する信頼性があり、スケーラブルでバイアスのないメトリクスとして、変異解析を活用できるフレームワークを提案すること。
• ハイブリッド評価と静的テストスイートの再利用を通じて、ファズィング文脈における変異解析の計算コストを低減すること。
• 現在の評価手法の限界を克服する可能性を示すことで、変異解析の認知度向上とファズィング研究への統合を促進すること。

提案手法

• 各変異体を殺すまでの時間を性能指標として用い、コードカバレッジと変異体殺しのタイムラインを組み合わせたハイブリッド評価曲線を提案する。
• 最終的な入力セット（変異体を殺す入力）を抽出し、それらを静的テストスイートとして用いることで、冗長性低減技術を導入する。
• Böhmeらの手法を応用し、最終的な静的テストスイートを用いて、同等変異体の数を推定する。
• 残りの変異体の殺しやすさを評価するために、サンプリングを実施し、同等変異体を同定するための標準的な変異解析技術を活用する。
• 実行コストを削減するために、チェックドカバレッジなどの代理指標を推奨するが、変異解析の根幹的な故障検出能力を損なわないようにする。
• ファズィングと変異解析をネイティブにサポートする統合フレームワークの開発を提言し、ツールとワークフローの障壁を低減する。

実験結果

リサーチクエスチョン

• RQ1 変異解析は、コードカバレッジやシードされたバグベンチマークに比べ、ファズァー品質の評価においてより信頼性が高く、バイアスが少ない代替手段として機能できるか？
• RQ2 変異解析をファズィングキャンペーンに適用する際の主な計算的・手法的課題は何か？
• RQ3 動的で非決定的なファズィング環境において、変異解析の高コストをどのように緩和できるか？
• RQ4 ファズィング入力から得られる静的テストスイートを、変異体の冗長性低減と効率向上にどの程度活用できるか？
• RQ5 ファズィング文脈において同等変異体をどのように推定できるか？また、その目的に適した統計的手法は何か？

主な発見

• 変異解析は、コードカバレッジよりも本質的に頑健で、飽和しにくいため、ファズィングにおける故障検出能力の強力な代理指標となる。
• 提案されたハイブリッド評価曲線により、変異体殺しの進行状況を時間経過とともに追跡でき、ファズァー性能を動的で時間に依存する指標として提供できる。
• ファズィングから得た最終的な入力セットを静的テストスイートとして使用することで、効果的な冗長性低減と最小限の変異体計算が可能になる。
• 種の豊度推定法は、ファズィング文脈における同等変異体の数を推定するための実用的ではあるが、検証はまだ行われていないアプローチである。
• 変異解析の計算コストは依然として主要な障壁であり、特に非決定性と長時間にわたるファズィングキャンペーンによる統計的信頼性の必要性が、その要因である。
• 統合ツールの欠如と、変異解析に対する認知度の低さは、ファズィング研究コミュニティにおける採用の主な障壁である。