[论文解读] Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks

David Bieber, Charles Sutton+2 more|arXiv (Cornell University)|Oct 23, 2020

Software Engineering Research参考文献 25被引用 10

一句话总结

本文提出指令指针注意力图神经网络（IPA-GNN），一种新型架构，通过将程序执行建模为控制流图上的指令指针状态转移轨迹，结合了RNN的序列推理能力与GNN的结构归纳偏置。IPA-GNN在完整程序和部分程序执行任务上均优于RNN与GNN基线模型，能够学习离散分支决策与短路执行，从而提升系统性泛化能力。

ABSTRACT

Graph neural networks (GNNs) have emerged as a powerful tool for learning software engineering tasks including code completion, bug finding, and program repair. They benefit from leveraging program structure like control flow graphs, but they are not well-suited to tasks like program execution that require far more sequential reasoning steps than number of GNN propagation steps. Recurrent neural networks (RNNs), on the other hand, are well-suited to long sequential chains of reasoning, but they do not naturally incorporate program structure and generally perform worse on the above tasks. Our aim is to achieve the best of both worlds, and we do so by introducing a novel GNN architecture, the Instruction Pointer Attention Graph Neural Networks (IPA-GNN), which achieves improved systematic generalization on the task of learning to execute programs using control flow graphs. The model arises by considering RNNs operating on program traces with branch decisions as latent variables. The IPA-GNN can be seen either as a continuous relaxation of the RNN model or as a GNN variant more tailored to execution. To test the models, we propose evaluating systematic generalization on learning to execute using control flow graphs, which tests sequential reasoning and use of program structure. More practically, we evaluate these models on the task of learning to execute partial programs, as might arise if using the model as a heuristic function in program synthesis. Results show that the IPA-GNN outperforms a variety of RNN and GNN baselines on both tasks.

研究动机与目标

• 为解决现有模型在推理程序执行时的局限性，即需要超越典型GNN传播步长的长序列链。
• 通过设计统一架构，弥合RNN（在序列推理方面表现强劲但结构感知能力弱）与GNN（在结构建模方面表现强劲但序列推理能力有限）之间的差距。
• 评估程序执行任务中的系统性泛化能力，特别是在分布外数据和部分程序输入下的表现。
• 开发一种可在程序合成中作为启发式方法的模型，通过学习执行缺失或掩码代码的程序。
• 证明注意力机制能够通过聚焦于相关执行路径并跳过冗余步骤，学习模拟解释器行为。

提出的方法

• IPA-GNN将程序执行建模为控制流图上指令指针状态的轨迹，其中每个节点代表一个程序语句。
• 它使用图神经网络在控制流图上传播消息，并通过注意力机制关注当前指令指针的位置。
• 该模型在节点上引入软注意力机制，以模拟指令指针的移动，从而动态选择下一步要执行的语句。
• 该架构源自具有潜在分支决策的概率RNN模型，被重新诠释为在节点状态上具有注意力机制的GNN。
• 模型通过端到端训练，基于程序执行轨迹的监督学习，预测给定初始状态和控制流图下的最终程序状态。
• 消融实验表明，指令指针注意力至关重要，因为去除该机制的模型性能显著下降。

实验结果

研究问题

• RQ1 神经架构能否结合RNN在序列推理方面的优势与GNN在结构归纳偏置方面的优势，以提升程序执行预测性能？
• RQ2 在程序执行过程中，IPA-GNN在分布外程序上的系统性泛化能力是否优于RNN和GNN？
• RQ3 该模型能否学习做出离散且可解释的分支决策，而非对所有节点进行软注意力聚焦？
• RQ4 在部分程序执行任务中，当代码部分被掩码时（如编程示例设置），模型表现如何？
• RQ5 该模型是否学会短路执行，模仿优化解释器的行为？这种行为是否提升了泛化能力？

主要发现

• 在完整程序执行任务中，IPA-GNN准确率达到62.1%，在部分程序执行任务中达到29.1%，优于所有RNN与GNN基线模型。
• 在复杂程序上，IPA-GNN保持优越性能，而基线模型随程序复杂度增加而性能下降更迅速。
• 该模型在大多数情况下学习到离散分支决策，表明其已内化控制流语义，而非依赖对所有节点的连续注意力。
• IPA-GNN学会短路执行：例如，它仅一次关注while循环体，而真实执行轨迹则访问了七次。
• 消融实验表明，移除指令指针注意力（NoExecute）会显著降低性能，证实其对泛化能力的关键作用。
• 注意力权重的可视化显示，该模型仅聚焦于相关执行路径，模仿人类在程序理解中的推理方式。