[论文解读] ast2vec: Utilizing Recursive Neural Encodings of Python Programs

Benjamin Paaßen, Jessica McBroom+3 more|arXiv (Cornell University)|Mar 22, 2021

Machine Learning and Data Classification参考文献 55被引用 7

一句话总结

ast2vec 是一种递归神经网络，可将 Python 抽象语法树（ASTs）编码为密集向量并重建，从而支持对学生编程数据的多样化数据挖掘任务。在 500,000 个初学者程序上进行训练后，该模型实现了较低的自动编码误差，支持可扩展的基于向量的分析，并能通过简单的线性模型实现高精度预测，为教育数据挖掘提供一种无需微调的通用、可重用表示方法。

ABSTRACT

Educational datamining involves the application of datamining techniques to student activity. However, in the context of computer programming, many datamining techniques can not be applied because they expect vector-shaped input whereas computer programs have the form of syntax trees. In this paper, we present ast2vec, a neural network that maps Python syntax trees to vectors and back, thereby facilitating datamining on computer programs as well as the interpretation of datamining results. Ast2vec has been trained on almost half a million programs of novice programmers and is designed to be applied across learning tasks without re-training, meaning that users can apply it without any need for (additional) deep learning. We demonstrate the generality of ast2vec in three settings: First, we provide example analyses using ast2vec on a classroom-sized dataset, involving visualization, student motion analysis, clustering, and outlier detection, including two novel analyses, namely a progress-variance-projection and a dynamical systems analysis. Second, we consider the ability of ast2vec to recover the original syntax tree from its vector representation on the training data and two further large-scale programming datasets. Finally, we evaluate the predictive capability of a simple linear regression on top of ast2vec, obtaining similar results to techniques that work directly on syntax trees. We hope ast2vec can augment the educational datamining toolbelt by making analyses of computer programs easier, richer, and more efficient.

研究动机与目标

• 为解决标准数据挖掘技术难以应用于程序数据的问题，因为程序数据通常为树状结构而非向量形式。
• 开发一种通用、可重用的 Python 程序向量表示方法，使其在不重新训练的情况下适用于多种学习任务。
• 利用基于向量的方法实现高效、可扩展且可解释的学生编程数据挖掘。
• 支持新型分析技术，如进度-方差投影和向量空间中的动力系统建模。
• 证明在学习表示之上使用简单模型即可实现与复杂树基方法相当的性能。

提出的方法

• ast2vec 使用递归神经网络，采用自底向上的、结构感知的方法，将 Python AST 编码为固定大小的密集向量。
• 该模型作为自编码器进行训练，采用重建损失，以在编码和解码过程中保留语法结构。
• 在解码过程中施加语法约束，以确保仅重建有效的 AST。
• 网络在来自教育平台的近 500,000 个初学者 Python 程序上进行训练。
• 直接对学习到的表示应用基于向量的分析，如聚类、可视化和线性回归。
• 提出一种新型线性动力系统方法，用于建模程序演化并预测下一次代码变更。

实验结果

研究问题

• RQ1 神经网络能否学习一种通用、可重用的 Python AST 向量表示，以支持多样化的数据挖掘任务？
• RQ2 ast2vec 在从其向量编码重建原始 AST 时表现如何，特别是在未见数据集上的表现如何？
• RQ3 在 ast2vec 嵌入表示之上使用简单模型（如线性回归）能否实现与复杂树基模型相当的预测性能？
• RQ4 能否在向量空间中有效应用新型分析技术，如进度-方差投影和动力系统建模？
• RQ5 ast2vec 学习到的向量空间是否具备足够的平滑性和可解释性，以支持教育数据的分析？

主要发现

• ast2vec 在训练数据上实现了较低的自动编码误差，并在两个大规模、未见的编程数据集上表现出良好的泛化能力，尽管误差随 AST 大小增加而上升。
• 编码和解码时间与 O(n) 理论界一致，表明其在大规模教育数据上的可扩展性。
• 在 ast2vec 嵌入表示之上使用简单线性回归模型，其预测准确率与最先进的树基方法在下一代码预测任务中相当。
• ast2vec 的向量空间足够平滑，可支持新型分析技术，包括进度-方差投影可视化和一种保证收敛到正确解的动力系统模型。
• 该模型无需重新训练或专家标注，即可支持广泛的挖掘任务，包括聚类、异常值检测和运动分析。
• 尽管性能表现强劲，但自动编码误差在较大程序上仍偏高，表明未来可通过更复杂的循环架构进一步改进。