[论文解读] Learning Scalable and Precise Representation of Program Semantics

Ke Wang|arXiv (Cornell University)|May 13, 2019

Software Engineering Research参考文献 20被引用 16

一句话总结

DyPro 是一种深度神经网络，通过在随机测试生成的执行轨迹上进行训练，学习精确且可扩展的程序语义，利用双向 RNN 压缩关键状态并在不同执行间实现泛化。它在语义分类和循环不变式检测任务中均优于静态模型（如 GGNN 和 TreeLSTM），在不变式预测任务中达到 73.9% 的准确率，显著高于静态模型，证明其在捕捉深层语义特性方面具有更强的能力。

ABSTRACT

Neural program embedding has shown potential in aiding the analysis of large-scale, complicated software. Newly proposed deep neural architectures pride themselves on learning program semantics rather than superficial syntactic features. However, by considering the source code only, the vast majority of neural networks do not capture a deep, precise representation of program semantics. In this paper, we present \dypro, a novel deep neural network that learns from program execution traces. Compared to the prior dynamic models, not only is \dypro capable of generalizing across multiple executions for learning a program's dynamic semantics in its entirety, but \dypro is also more efficient when dealing with programs yielding long execution traces. For evaluation, we task \dypro with semantic classification (i.e. categorizing programs based on their semantics) and compared it against two prominent static models: Gated Graph Neural Network and TreeLSTM. We find that \dypro achieves the highest prediction accuracy among all models. To further reveal the capacity of all aforementioned deep neural architectures, we examine if the models can learn to detect deeper semantic properties of a program. In particular given a task of recognizing loop invariants, we show \dypro beats all static models by a wide margin.

研究动机与目标

• 为解决静态神经网络模型仅捕捉浅层语法特征而非深层程序语义的局限性。
• 开发一种动态模型，能够在多个程序执行间泛化，以学习整体性的程序语义。
• 在处理现实世界程序中常见的长执行轨迹时，提升效率与可扩展性。
• 评估深度学习模型是否能够学习到如循环不变式等复杂语义特性，这些特性需要精确的语义理解。
• 证明基于执行的训练方法可实现比仅依赖源代码的方法更准确、更深入的语义表示。

提出的方法

• DyPro 使用随机测试为每个程序生成多个执行轨迹，从而实现从多样化输入中学习。
• 它应用双向 RNN 扫描每个执行轨迹，过滤掉非关键步骤，保留关键程序状态。
• 将单个执行的嵌入表示进行池化与压缩，生成单一紧凑的程序级表示。
• 在循环不变式检测中，通过注入嵌入将变量值和不变式标记整合到输入嵌入空间。
• 模型采用统一架构并共享预测层，其中程序嵌入与不变式嵌入在分类前进行拼接。
• 训练过程中采用合页损失（hinge loss），在所有模型中均取得优于交叉熵的性能表现。

实验结果

研究问题

• RQ1 在执行轨迹上进行训练的深度学习模型，是否能比静态模型更精确、更可扩展地学习程序语义表示？
• RQ2 该模型在区分语法相同但语义不同的程序（如冒泡排序 vs. 插入排序）时表现如何？
• RQ3 该模型能否检测到需要超越语法理解的深层语义特性，如循环不变式？
• RQ4 与现有动态模型相比，该模型在执行轨迹长度增加时的可扩展性如何？
• RQ5 基于执行的学习方法在多大程度上能捕捉到静态模型无法检测到的语义不变式？

主要发现

• DyPro 在循环不变式分类任务中达到 73.9% 的准确率，显著优于 GGNN（47.5%）和 TreeLSTM（51.8%），表明其具备更强的语义理解能力。
• 在语义分类任务中，DyPro 在所有测试模型中（包括静态基线和动态模型）取得了最高的预测准确率。
• 随着执行轨迹长度的增加，DyPro 的准确率下降幅度小于动态状态轨迹神经网络（DSTNN），表现出更好的可扩展性。
• 静态模型无法区分冒泡排序与插入排序实现（尽管语法不同），而 DyPro 成功捕捉了其语义差异。
• 尽管所有模型均采用合页损失优化，DyPro 仍显著优于静态模型，表明其在性能上具有明显优势。
• DyPro 中的状态压缩机制可高效处理长轨迹，同时不损失语义精度，显著提升了可扩展性。