[论文解读] Evaluation of Generalizability of Neural Program Analyzers under Semantic-Preserving Transformations

Md Rafiqul Islam Rabin, Mohammad Amin Alipour|arXiv (Cornell University)|Apr 15, 2020

Software Engineering Research参考文献 39被引用 8

一句话总结

本文评估了神经程序分析器 code2vec 和 code2seq 在语义保持的程序变换下的泛化能力，发现即使是最小的结构变化——如变量重命名或语句重排——也常常导致预测结果发生显著偏移。研究表明，这些模型对语法变化缺乏鲁棒性，对其在真实世界程序分析任务中的可靠性提出质疑。

ABSTRACT

The abundance of publicly available source code repositories, in conjunction with the advances in neural networks, has enabled data-driven approaches to program analysis. These approaches, called neural program analyzers, use neural networks to extract patterns in the programs for tasks ranging from development productivity to program reasoning. Despite the growing popularity of neural program analyzers, the extent to which their results are generalizable is unknown. In this paper, we perform a large-scale evaluation of the generalizability of two popular neural program analyzers using seven semantically-equivalent transformations of programs. Our results caution that in many cases the neural program analyzers fail to generalize well, sometimes to programs with negligible textual differences. The results provide the initial stepping stones for quantifying robustness in neural program analyzers.

研究动机与目标

• 研究神经程序分析器在面对语义等价但语法不同的程序时的泛化能力。
• 评估广泛使用的神经模型（如 code2vec 和 code2seq）在源代码发生微小结构变化时是否能保持一致的预测结果。
• 确定当前神经程序分析器对保持程序语义的变换的脆弱程度。
• 为现有模型的局限性提供实证证据，推动未来在鲁棒性和可靠性方面改进神经代码分析的研究。
• 为衡量神经程序分析系统中鲁棒性和可靠性提供基础性评估框架。

提出的方法

• 对 code2seq 训练数据集中的程序应用了七种语义保持的变换，包括变量重命名、语句重排以及控制流重构。
• 在保持抽象语法树（AST）结构和程序行为不变的前提下，生成原始程序的语义等价变体。
• 使用 code2vec 和 code2seq 模型对原始程序和变换后的程序进行输出预测（例如方法名）。
• 比较原始版本与变换后版本的预测结果，检测因泛化能力差而产生的预测偏移。
• 在多个数据集和变换类型上进行大规模评估，以确保统计可靠性。
• 量化不同变换类型下预测变化的频率与严重程度，以评估模型对变化的敏感性。

实验结果

研究问题

• RQ1 神经程序分析器（如 code2vec 和 code2seq）在面对具有微小语法变化但语义等价的程序时，其泛化能力在多大程度上受到影响？
• RQ2 不同类型的语义保持变换如何影响神经程序分析器的预测一致性？
• RQ3 是否存在某些特定类型的变换会导致神经模型出现显著的预测漂移？
• RQ4 当模型暴露于结构改变但功能相同的代码时，其性能会如何退化？
• RQ5 观察到的预测偏移是否可归因于模型对语法变化的敏感性，而非语义内容本身？

主要发现

• 在 9.19% 至 36.36% 的情况下，原始程序上正确的预测在语义保持变换后变为错误预测。
• 变量重命名和语句重排导致了最高的预测漂移率，表明模型对语法结构高度敏感。
• 即使在保持程序语义和 AST 结构的变换下，模型仍表现出不一致的行为。
• 结果表明，当前的神经程序分析器具有脆弱性，无法可靠地泛化到语义等价的代码变体。
• 性能退化在不同变换类型间并不均匀，某些变化导致的错误率显著高于其他类型。
• 本研究揭示了尽管在标准基准上表现优异，当前神经模型在鲁棒性方面仍存在关键缺陷。