[論文レビュー] Evaluating Fuzz Testing

George Klees, Andrew Ruef+3 more|arXiv (Cornell University)|Aug 29, 2018

Software Testing and Debugging Techniques参考文献 40被引用数 3

ひとこと要約

この論文は、fuzz テスティング研究における実験的厳密性を評価し、32篇の最近の論文において広範な方法論的欠陥が見られることが明らかになった。広範な実験を通じて、単一実行の誤用、短いタイムアウト、劣悪なシード選択、ヒューリスティックなクラッシュ重複除去が、fuzzer の性能に関する誤った結論を導く原因となることを示し、多様なベンチマークと真のバグ数を用いた標準化された統計的根拠に基づく評価を提唱している。

ABSTRACT

Fuzz testing has enjoyed great success at discovering security critical bugs in real software. Recently, researchers have devoted significant effort to devising new fuzzing techniques, strategies, and algorithms. Such new ideas are primarily evaluated experimentally so an important question is: What experimental setup is needed to produce trustworthy results? We surveyed the recent research literature and assessed the experimental evaluations carried out by 32 fuzzing papers. We found problems in every evaluation we considered. We then performed our own extensive experimental evaluation using an existing fuzzer. Our results showed that the general problems we found in existing experimental evaluations can indeed translate to actual wrong or misleading assessments. We conclude with some guidelines that we hope will help improve experimental evaluations of fuzz testing algorithms, making reported results more robust.

研究の動機と目的

• 最近のfuzz テスティング研究における実験的評価の質と信頼性を評価すること。
• 新規fuzz アルゴリズムの評価において一般的に見られる方法論的欠陥（例：単一実行、短いタイムアウト、ヒューリスティックなクラッシュ重複除去）を同定すること。
• 実験的に、不適切な評価手法がfuzzer の優位性に関する誤ったまたは誤解を招く結論を導く可能性があることを示すこと。
• 複数回の試行、統計的検定、多様なシード、長いタイムアウト、真のバグ数の測定を含む、fuzz アルゴリズムの評価のためのベストプラクティスのセットを提言すること。
• 既知のバグを有する標準化された、よく設計されたベンチマークスイートの構築を提唱し、fuzz ツール間の公平で再現可能な比較を可能にすること。

提案手法

• AFL と AFLFast を、5つの実世界のプログラム（nm、objdump、cxxfilt、gif2png、FFmpeg）に対して、合計50,000 CPU時間以上の実験を実施。
• 各設定に対して最大30回の独立した実行を実施し、fuzz テスティングの確率的性質を捉え、有意性を評価するための統計的検定を適用。
• 主な実験パラメータを変化させた：タイムアウト（6時間から24時間まで）、シード入力（空と非空の両方）、評価結果はクラッシュ数とカバレッジメトリクスの両方を測定。
• AFL のカバレッジやスタックハッシュヒューリスティクスに依存しない、既知の脆弱なバージョンからの真のバグ数を主な性能指標として使用。
• クラッシュ重複除去ヒューリスティクスの影響を、実際に発見された異なるバグと比較することで評価。
• 時間経過に伴うパフォーマンスの傾向を分析し、短いタイムアウトが評価の妥当性に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 現在のfuzz アルゴリズムの実験的評価は、どの程度方法論的欠陥にさらされているか？
• RQ2 シード選択、タイムアウト時間、実行間のランダムネスの変化が、fuzzer 間のパフォーマンス比較の信頼性にどのように影響するか？
• RQ3 AFL のカバレッジやスタックハッシュなどのヒューリスティックなクラッシュ重複除去法は、真のバグ発見の測定においてどれほど正確か？ また、パフォーマンス評価に歪みをもたらすか？
• RQ4 同じfuzzer（AFLFast）が、元の評価では優位に見えるが、多様なシードと長いタイムアウトを用いたより厳密な実験では優位性を示さないことはあり得るか？
• RQ5 信頼性があり再現可能で統計的に妥当なfuzz アルゴリズム評価フレームワークの主要構成要素は何か？

主な発見

• 調査した32篇の論文のほぼ3/5が単一実行に依存しており、fuzz テスティング結果の高いばらつきを捉えられず、誤った結論を導く可能性があった。
• 統計的検定の結果、AFL と AFLFast 間のパフォーマンス差は、元の論文で報告されたように常に有意ではなかった。
• シード選択に大きく依存する性能差が生じた：1つの非空シードを使用した場合、AFLFast は nm で24件のクラッシュを発見したが、AFL の23件と統計的に有意差がなく、元の評価では優位性が主張されていた。
• 短いタイムアウト（例：6時間）では、長期的なパフォーマンストレンドを捉えきれず、例として nm では6時間ではAFL がAFLFast を上回ったが、24時間後には逆転した。
• AFL のカバレッジプロファイルなどのヒューリスティックなクラッシュ重複除去法は、バグを過剰に数え上げるか、真の異なるクラッシュを抑制する場合があり、このような指標に基づくパフォーマンス主張は無効である。
• 複数回の実行、長いタイムアウト、多様なシード、真のバグ数の測定といった厳密な基準で評価した結果、AFLFast のAFLに対する優位性は一部のベンチマークでは著しく弱まり、あるいは消失した。これは、元の主張が誇張されていた可能性を示唆している。