[论文解读] Learning Python Code Suggestion with a Sparse Pointer Network

Avishkar Bhoopchand, Tim Rocktäschel+2 more|arXiv (Cornell University)|Nov 24, 2016

Software Engineering Research参考文献 19被引用 67

一句话总结

本文提出一种与神经语言模型集成的稀疏指针网络，以改进Python代码补全。Python是一种动态类型语言，长程标识符依赖关系常见。通过选择性地关注自上而下的抽象语法树（AST）过滤视图中的历史标识符，该模型降低了困惑度，并在标识符预测准确率上相比LSTM基线模型提升了13倍，准确率提升5个百分点。

ABSTRACT

To enhance developer productivity, all modern integrated development environments (IDEs) include code suggestion functionality that proposes likely next tokens at the cursor. While current IDEs work well for statically-typed languages, their reliance on type annotations means that they do not provide the same level of support for dynamic programming languages as for statically-typed languages. Moreover, suggestion engines in modern IDEs do not propose expressions or multi-statement idiomatic code. Recent work has shown that language models can improve code suggestion systems by learning from software repositories. This paper introduces a neural language model with a sparse pointer network aimed at capturing very long-range dependencies. We release a large-scale code suggestion corpus of 41M lines of Python code crawled from GitHub. On this corpus, we found standard neural language models to perform well at suggesting local phenomena, but struggle to refer to identifiers that are introduced many tokens in the past. By augmenting a neural language model with a pointer network specialized in referring to predefined classes of identifiers, we obtain a much lower perplexity and a 5 percentage points increase in accuracy for code suggestion compared to an LSTM baseline. In fact, this increase in code suggestion accuracy is due to a 13 times more accurate prediction of identifiers. Furthermore, a qualitative analysis shows this model indeed captures interesting long-range dependencies, like referring to a class member defined over 60 tokens in the past.

研究动机与目标

• 解决标准神经语言模型在捕捉动态类型语言（如Python）中长程依赖关系方面的局限性。
• 在仅使用标准RNN或注意力机制的基础上，进一步提升代码补全的准确率。
• 开发一种高效机制，以识别并引用代码上下文中较早引入的标识符。
• 创建并发布一个大规模、高质量的4100万行Python代码语料库，用于训练和评估。
• 证明聚焦于语法标识符的稀疏注意力机制在代码补全任务中优于通用注意力机制和基线模型。

提出的方法

• 使用LSTM训练神经语言模型，以编码序列上下文并预测代码序列中的下一个标记。
• 集成一种注意力机制，对先前标记的隐藏状态进行注意力计算，以改善长程依赖关系建模。
• 设计一种稀疏指针网络，仅选择性地关注从抽象语法树（AST）中提取的过滤后标识符表示，聚焦于早期引入的相关标识符。
• 使用控制器机制，动态决定是通过语言模型生成新标记，还是从过去标识符的过滤记忆中复制标识符。
• 应用可微分注意力机制，基于当前隐藏状态与过去标识符表示之间的相关性得分，计算上下文向量。
• 使用交叉熵损失端到端优化模型，其中指针网络组件被训练以从预定义的候选标识符集合中正确预测目标标识符。

实验结果

研究问题

• RQ1 与标准RNN或通用注意力机制相比，基于AST衍生标识符的稀疏注意力神经语言模型是否能更好地捕捉Python代码中的长程依赖关系？
• RQ2 聚焦于标识符的指针网络集成是否能提升代码补全准确率，特别是在长程引用场景下？
• RQ3 在代码补全任务中，该模型在困惑度和Top-5准确率方面与n-gram模型和标准神经语言模型相比表现如何？
• RQ4 该模型在多大程度上能够学习到引用代码中超过60个标记前引入的标识符？
• RQ5 与标准语言模型基线相比，稀疏指针机制是否能有效降低标识符预测的错误率？

主要发现

• 所提出的稀疏指针网络在LSTM基线模型基础上，将代码补全准确率提升了5个百分点。
• 该模型显著降低了困惑度，表明其对代码序列的语言建模能力更强。
• 与LSTM基线相比，标识符预测准确率提高了13倍，证明其在长程依赖关系建模方面表现优异。
• 定性分析表明，该模型能够正确引用代码中超过60个标记前引入的类成员或函数。
• 注意力机制虽有帮助，但仍会产生可避免的错误，而稀疏指针网络成功缓解了此类问题。
• 发布的4100万行Python语料库支持大规模训练与评估，为该领域未来的研究提供了重要支持。