[论文解读] Topological Differential Testing

Kristopher Ambrose, Steve Huntsman+2 more|arXiv (Cornell University)|Mar 2, 2020

Software Testing and Debugging Techniques参考文献 47被引用 9

一句话总结

拓扑微分测试（TDT）是一种新颖的方法，利用单纯复形和层论来检测在一组输入的语料库上，多个解析器之间不一致的程序行为，从而揭示PDF等格式的实际输入规范。通过在拓扑上建模行为不一致，TDT能够以系统化、可扩展的方式识别出有问题的输入和特征，其在检测细微规范偏差方面优于简单的投票或聚类方法。

ABSTRACT

We introduce topological differential testing (TDT), an approach to extracting the consensus behavior of a set of programs on a corpus of inputs. TDT uses the topological notion of a simplicial complex (and implicitly draws on richer topological notions such as sheaves and persistence) to determine inputs that cause inconsistent behavior and in turn reveal \emph{de facto} input specifications. We gently introduce TDT with a toy example before detailing its application to understanding the PDF file format from the behavior of various parsers. Finally, we discuss theoretical details and other possible applications.

研究动机与目标

• 通过从多个解析器的集体行为中提取实际规范，解决PDF等复杂文件格式缺乏正式规范的问题。
• 通过利用拓扑结构建模行为不一致，克服简单投票和聚类在微分测试中的局限性。
• 提供一种系统化、可扩展的方法，用于识别在多个实现中引发不一致行为的输入和特征。
• 在不依赖正式或机器可读规范的情况下，实现对解析器中细微规范偏差的检测。
• 通过程序行为的拓扑抽象，支持软件验证、恶意软件分析和输入格式逆向工程等应用。

提出的方法

• TDT从程序与输入之间的关系构建加权抽象单纯复形，其中单纯形表示在特定输入上程序行为的一致性。
• 它使用层在单纯复形上建模不一致，编码哪些输入会导致程序子集间的行为分歧。
• 该方法使用Dowker复形构造将程序-输入关系对偶化，从而实现对行为分歧的拓扑分析。
• 它应用逻辑运算如 $RS(X,\ell) = \bigwedge S(\text{inc}(X), \ell)$ 来识别在不一致输入中系统性存在的特征 $\ell$。
• 它引入了一种划分方案 $\binom{RS}{\lnot r}$，在特征覆盖范围与程序集合大小之间实现权衡，从而支持可扩展分析。
• 该方法通过在不同特征子集下比较划分，支持迭代优化，使用如信息变异度等度量来识别与行为相关的特征。

实验结果

研究问题

• RQ1 如何利用拓扑方法从多个解析器的集体行为中提取实际输入规范？
• RQ2 单纯复形和层在建模和检测输入语料库中跨程序的行为不一致中起什么作用？
• RQ3 如何系统性地识别与解析器间行为分歧相关的输入特征？
• RQ4 拓扑微分测试能否在检测PDF等实际格式中的规范违反方面优于基于聚类或投票的方法？
• RQ5 该方法如何在大规模测试场景中实现可扩展性，并在特征覆盖范围与程序集合大小之间实现平衡？

主要发现

• TDT成功识别出在多个PDF解析器中引发不一致行为的输入，揭示了在缺乏正式标准情况下的实际规范边界。
• 该方法检测到某些输入特征（如特定关键词或结构模式）与解析器分歧系统性相关，从而支持对格式期望的逆向工程。
• 通过使用 $\binom{RS}{\lnot r}$ 划分方案，TDT在分析的程序数量与考虑的特征数量之间实现了系统化的权衡，提升了可扩展性。
• 该方法通过提供保留行为不一致结构关系的拓扑框架，优于简单聚类和投票方法，展现出更强的检测能力。
• TDT利用逻辑与拓扑运算，能够识别出导致不一致的必要且充分特征，从而减少误报。
• 该方法不仅适用于PDF，还具有在恶意软件多扫描、数据结构评估以及未验证组件的形式化验证等场景中的应用潜力。