[論文レビュー] An Exploratory Survey of Hybrid Testing Techniques Involving Symbolic Execution and Fuzzing

Saahil Ognawala, Ana Petrovska+1 more|arXiv (Cornell University)|Dec 19, 2017

Software Testing and Debugging Techniques参考文献 41被引用数 4

ひとこと要約

本論文は、記号実行とファズィングを組み合わせたハイブリッドテスト技法について、体系的なサーベイを実施し、パス爆発や低カバレッジを緩和する可能性を秘めた未利用の技術的交差領域を同定する。77篇の論文を分析し、主要な研究ギャップを明らかにするとともに、ソフトウェアテストにおけるテストケース生成の効率性とパスカバレッジを向上させるための新規ハイブリッド戦略を提案する。

ABSTRACT

Recent efforts in practical symbolic execution have successfully mitigated the path-explosion problem to some extent with search-based heuristics and compositional approaches. Similarly, due to an increase in the performance of cheap multi-core commodity computers, fuzzing as a viable method of random mutation-based testing has also seen promise. However, the possibility of combining symbolic execution and fuzzing, thereby providing an opportunity to mitigate drawbacks in each other, has not been sufficiently explored. Fuzzing could, for example, expedite path-exploration in symbolic execution, and symbolic execution could make seed input generation in fuzzing more efficient. There have only been, in our view, very few hybrid solution proposals with symbolic execution and fuzzing at their centre. By analyzing 77 relevant and systematically selected papers, we (1) present an overview of hybrid solution proposals of symbolic execution and fuzzing, (2) perform a gap analysis in research of hybrid techniques to improve both, plain symbolic execution and fuzzing, (3) propose new ideas for hybrid test-case generation techniques.

研究の動機と目的

• 記号実行とファズィングを組み合わせたハイブリッドテスト技法の現状を、技術的設計および実装に焦点を当てて分析すること。
• 記号実行とファズィングの間で未開拓の技術的交差領域を同定し、パスカバレッジの向上と制約解決のボトルネックの低減に寄与する可能性を示すこと。
• 記号実行（パス爆発、制約解決の遅さ）とファズィング（ブラインドな変異による低パスカバレッジ）の限界を統合的ソリューションで克服すること。
• 記号実行によるシード入力生成やファズィングによるパス探索といった、相互の強みを活かした新規ハイブリッドテスト生成技法を提案すること。
• 将来的なハイブリッドツール開発において、一般化可能性と再現可能性を確保するため、標準化された評価手法と相互検証の実施を提言すること。

提案手法

• 記号実行とファズィング技法に特化した77篇の関連する査読済み論文を対象とした体系的文献レビューを実施した。
• パス探索戦略、入力変異メカニズム、制約解決、静的解析またはコードインストルメンテーションの使用といった技術的側面に基づき、ハイブリッドソリューションを分類した。
• 各技術的コンポーネントの利用頻度と深さを、調査対象の論文全体にわたってマッピング・分析し、未利用または低利用の交差領域を同定した。
• 未開拓または低利用のコンポーネントを組み合わせることで新規ハイブリッド戦略を提案した — 例：記号実行を用いてファズィングの入力変異をガイドすること、または記号実行における制約解決の最適化に活用すること。
• 制約ソルバーへの依存を軽減しスケーラビリティを向上させるために、エキスパートガイドランス、SMTクエリのしきい値設定、コンポジショナル解析の統合を提案した。
• コードインストルメンテーションと標的的実行を提言し、未カバーのブランチに焦点を当てた記号実行を可能とするとともに、ファズァーのシード入力生成を効果的に導く。

実験結果

リサーチクエスチョン

• RQ1 記号実行とファズィングの分野における出版動向は、時間経過とともにどのように変化しているか？
• RQ2 記号実行とファズィングを実証的かつ非自明に統合した、新たなハイブリッドソリューションは、どのようなものがあるか？
• RQ3 これらのハイブリッド提案において、記号実行とファズィングのどの具体的な技術的側面が利用されており、そこでの主要な研究ギャップは何か？
• RQ4 既存のハイブリッド技法は、記号実行におけるパス爆発問題とファズィングにおける低パスカバレッジ問題をどのように解決しているか？
• RQ5 記号実行とファズィングの間で未開拓の交差領域は何か？ それらは、より効率的かつスケーラブルなテスト生成フレームワークの構築にどのように寄与するか？

主な発見

• 調査対象の77篇の論文のうち、記号実行とファズィングを本質的に統合した真正のハイブリッドソリューションを提案しているのは極めて少数である。
• ハイブリッドアプローチの大多数は、入力変異、パス探索、制約解決戦略といった技術的コンポーネントの柔軟性を十分に活用できていない。
• 制約解決は依然として記号実行における主要なボトル neck であり、SMTクエリのしきい値設定やエキスパートガイドランスといった最適化手法を活用するハイブリッドソリューションは少ない。
• ファズィングツールは、多様で影響力の高いシード入力を生成するための記号実行との統合を欠いており、これによりパスカバレッジと効率性が制限されている。
• 評価基準の標準化と相互検証の欠如が顕著であり、多数の論文が重複のない独自のベンチマークとデータセットを用いている。
• コンポジショナル記号実行と標的的ファズィングの交差は、大規模なソフトウェアシステムにおけるスケーラブルな脆弱性検出の可能性を秘めているが、現在の文献では未開拓の分野のままである。