[论文解读] CamBench -- Cryptographic API Misuse Detection Tool Benchmark Suite

Michael Schlichtig, Anna-Katharina Wickert+3 more|arXiv (Cornell University)|Apr 13, 2022

Advanced Malware Detection Techniques被引用 5

一句话总结

CamBench 是一个透明的、开源的基准测试套件，用于通过静态分析在真实世界和合成代码上评估 Java 中加密 API 误用检测工具。它通过基于最佳实践和社区反馈的标准化测试用例，实现了对 CogniCrypt SAST 和 CryptoGuard 等工具的公平、可复现的比较，重点关注 JCA（Java 密码架构）安全缺陷。

ABSTRACT

Context: Cryptographic APIs are often misused in real-world applications. Therefore, many cryptographic API misuse detection tools have been introduced. However, there exists no established reference benchmark for a fair and comprehensive comparison and evaluation of these tools. While there are benchmarks, they often only address a subset of the domain or were only used to evaluate a subset of existing misuse detection tools. Objective: To fairly compare cryptographic API misuse detection tools and to drive future development in this domain, we will devise such a benchmark. Openness and transparency in the generation process are key factors to fairly generate and establish the needed benchmark. Method: We propose an approach where we derive the benchmark generation methodology from the literature which consists of general best practices in benchmarking and domain-specific benchmark generation. A part of this methodology is transparency and openness of the generation process, which is achieved by pre-registering this work. Based on our methodology we design CamBench, a fair "Cryptographic API Misuse Detection Tool Benchmark Suite". We will implement the first version of CamBench limiting the domain to Java, the JCA, and static analyses. Finally, we will use CamBench to compare current misuse detection tools and compare CamBench to related benchmarks of its domain.

研究动机与目标

• 解决缺乏标准化、社区认可的基准测试以评估加密 API 误用检测工具的问题。
• 通过基于真实世界和合成代码的通用测试套件，实现对现有工具的公平且可复现的比较。
• 通过预先注册和社区参与，促进基准测试生成过程的透明度和开放性。
• 通过提供可衡量的优化目标和可复用的基准测试创建方法论，支持未来工具的开发。
• 确立 CamBench 作为 JCA（Java 密码架构）领域的参考基准，具备扩展至其他编程语言和分析类型的能力。

提出的方法

• 从基准测试的既定最佳实践和加密 API 误用领域的特定知识中推导出基准测试生成方法论。
• 预先注册基准测试开发过程，以确保透明度和可复现性。
• 从公共代码仓库（如 GitHub）收集真实世界的 Java 应用程序，并收集合成测试用例，以覆盖多样化的误用模式。
• 通过专家知识和社区反馈对测试用例进行标注，以确保已知漏洞的准确性和全面覆盖。
• 实现一种启发式方法，用于衡量 JCA 的 API 覆盖率，从而评估工具的完整性。
• 使用 GitHub Actions 实现持续集成与部署，并通过唯一 DOI 发布 CamBench，以实现持久访问。

实验结果

研究问题

• RQ1 当前的加密 API 误用检测工具在 CamBench 上的精确率、召回率和误报率表现如何？
• RQ2 CamBench 在构成、评估标准和方法论严谨性方面与现有自定义基准测试相比如何？
• RQ3 用于衡量 JCA API 覆盖率的启发式方法在多大程度上准确反映了工具的完整性？
• RQ4 如何使基准测试生成过程更加透明、可复现，并可扩展至其他编程语言和分析类型？

主要发现

• CamBench 首次实现了在 Java 生态系统中，基于 JCA 的加密 API 误用检测工具的标准化、社区驱动的比较。
• 该基准测试包含真实世界的应用程序和合成测试用例，确保对已知误用模式的多样化和代表性覆盖。
• 用于衡量 JCA API 覆盖率的启发式方法提供了一种实用且可量化的工具完整性评估方式，尽管仍需进一步验证。
• CamBench 设计具有可扩展性，可未来适配其他编程语言和分析技术（如动态分析）。
• 基准测试的开放、透明且预先注册的开发过程，增强了工具评估的可复现性和可信度。
• 评估计划包含通过拉取请求（pull requests）贡献的社区结果，促进了长期维护和采用。