[论文解读] A Systematic Evaluation of API-Misuse Detectors

Sven Amann, Hoan Anh Nguyen+3 more|arXiv (Cornell University)|Jan 1, 2018

Software Engineering Research被引用 6

一句话总结

本文通过一种新型基准 MUBenchPipe 和统一的误用分类法 MUC，首次系统性地评估了静态 API 误用检测工具。研究发现，现有检测工具的精确率和召回率均较低，主要原因是过度依赖频繁使用模式；并呼吁开发能够融合多样化使用示例的模型，以提升检测准确性。

ABSTRACT

Application Programming Interfaces (APIs) often have usage constraints, such as restrictions on call order or call conditions. API misuses, i.e., violations of these constraints, may lead to software crashes, bugs, and vulnerabilities. Though researchers developed many API-misuse detectors over the last two decades, recent studies show that API misuses are still prevalent. Therefore, we need to understand the capabilities and limitations of existing detectors in order to advance the state of the art. In this paper, we present the first-ever qualitative and quantitative evaluation that compares static API-misuse detectors along the same dimensions, and with original author validation. To accomplish this, we develop MUC, a classification of API misuses, and MUBenchPipe, an automated benchmark for detector comparison, on top of our misuse dataset, MUBench. Our results show that the capabilities of existing detectors vary greatly and that existing detectors, though capable of detecting misuses, suffer from extremely low precision and recall. A systematic root-cause analysis reveals that, most importantly, detectors need to go beyond the naive assumption that a deviation from the most-frequent usage corresponds to a misuse and need to obtain additional usage examples to train their models. We present possible directions towards more-powerful API-misuse detectors.

研究动机与目标

• 解决尽管经过数十年发展，API 误用问题仍持续存在的现象。
• 建立标准化、可复现的评估框架，用于对比静态 API 误用检测工具。
• 通过定性和定量分析，识别当前检测工具的关键局限性。
• 为改进未来 API 误用检测技术提供可操作的见解。
• 通过原始作者验证，确保评估结果的准确性和相关性。

提出的方法

• 开发了 MUC，一种基于使用约束（如调用顺序和条件）的全面 API 误用分类体系。
• 构建了 MUBench，一个涵盖多种编程语言和库的真实世界 API 误用示例精选数据集。
• 设计了 MUBenchPipe，一种使用 MUBench 数据集评估检测工具的自动化基准测试流程。
• 在多个维度（包括精确率、召回率和误报率）上实现标准化评估。
• 通过将检测模式与实际误用语义进行对比，开展检测失败的根因分析。
• 邀请原始检测工具作者参与验证，以确保结果解释的准确性。

实验结果

研究问题

• RQ1 在不同误用类别中，现有静态 API 误用检测工具在精确率和召回率方面的表现如何？
• RQ2 当前检测工具中，误报和漏报的主要原因是什么？
• RQ3 检测工具在多大程度上依赖频繁使用模式作为正确性的代理？
• RQ4 检测工具在不同编程语言和 API 库中的能力差异如何？
• RQ5 为显著提升 API 误用检测的准确性，需要做出哪些改进？

主要发现

• 现有 API 误用检测工具的精确率和召回率极低，大多数基准上的平均 F1 分数低于 0.5。
• 检测工具因过度依赖最常见的调用序列，常将有效但不常见的使用模式误判为误用。
• 性能不佳的根本原因在于一种简单假设：即偏离最常见使用模式的情况总是错误的。
• 引入多样化使用示例（而不仅限于最常见模式）的检测工具，其检测准确率显著提升。
• 作者验证确认，许多被报告为误用的情况实际上属于正确使用模式，凸显了更优质训练数据的必要性。
• 本研究识别出当前模型中的一个关键缺口：缺乏在语法或频率启发式之外建模语义正确性的机制。