[论文解读] A Self-Attentional Neural Architecture for Code Completion with Multi-Task Learning

Fang Liu, Ge Li+4 more|arXiv (Cornell University)|Sep 16, 2019

Software Engineering Research参考文献 39被引用 9

一句话总结

该论文提出了一种具有多任务学习的自注意力神经架构，用于代码补全，利用层次化AST结构和Transformer-XL来建模长距离依赖关系。该方法联合预测AST节点类型和值，在三个真实世界数据集上优于最先进方法，通过在相关任务间有效共享知识实现性能提升。

ABSTRACT

Code completion, one of the most useful features in the Integrated Development Environments (IDEs), can accelerate software development by suggesting the libraries, APIs, and method names in real-time. Recent studies have shown that statistical language models can improve the performance of code completion tools through learning from large-scale software repositories. However, these models suffer from three major drawbacks: a) The hierarchical structural information of the programs is not fully utilized in the program's representation; b) In programs, the semantic relationships can be very long. Existing recurrent neural networks based language models are not sufficient to model the long-term dependency. c) Existing approaches perform a specific task in one model, which leads to the underuse of the information from related tasks. To address these challenges, in this paper, we propose a self-attentional neural architecture for code completion with multi-task learning. To utilize the hierarchical structural information of the programs, we present a novel method that considers the path from the predicting node to the root node. To capture the long-term dependency in the input programs, we adopt a self-attentional architecture based network as the base language model. To enable the knowledge sharing between related tasks, we creatively propose a Multi-Task Learning (MTL) framework to learn two related tasks in code completion jointly. Experiments on three real-world datasets demonstrate the effectiveness of our model when compared with state-of-the-art methods.

研究动机与目标

• 解决在代码补全中程序表示里层次化结构信息利用不足的问题。
• 克服循环神经网络在捕捉源代码长程依赖关系方面的局限性。
• 通过在相关代码补全任务（如节点类型和值的预测）之间实现知识共享，提升性能。
• 整合多任务学习与自注意力机制，联合优化AST节点的类型和值预测。
• 在真实世界代码补全基准上验证所提出架构的有效性。

提出的方法

• 提出一种新方法，用于编码从预测AST节点到根节点的路径，以显式建模层次化结构信息。
• 采用Transformer-XL作为基础语言模型，以捕捉代码序列中的长距离依赖关系，克服LSTM等RNN模型的局限性。
• 设计一个多任务学习框架，联合训练两个相关任务：预测下一个AST节点的类型及其值。
• 在两个任务之间共享表示层，以实现在训练过程中知识迁移和相互约束。
• 使用指针-生成机制处理未登录词（OOV）令牌，提升代码补全的鲁棒性。
• 在从解析后的源代码中提取的AST节点序列上端到端训练模型，损失函数针对类型和值预测进行优化。

实验结果

研究问题

• RQ1 建模从预测节点到根节点的层次化路径是否能提升代码补全的准确性？
• RQ2 与RNN相比，使用Transformer-XL是否显著增强了代码序列中长距离依赖关系的建模能力？
• RQ3 通过多任务学习联合学习节点类型和值的预测，是否能优于单任务模型？
• RQ4 在代码补全基准上，所提出的架构与最先进模型相比，在精确率和召回率方面表现如何？
• RQ5 类型和值预测任务之间的知识共享在多大程度上提升了泛化能力和鲁棒性？

主要发现

• 所提出的模型在三个真实世界代码补全数据集上达到最先进性能，在类型和值预测方面均优于先前的SOTA方法。
• 层次化路径编码的使用显著提升了模型捕捉结构上下文的能力，尤其在嵌套较深的复杂代码中表现突出。
• Transformer-XL能够更好地建模长距离依赖关系，在具有远距离语义关联的代码片段中观察到性能提升。
• 多任务学习带来了统计上显著的性能提升，类型和值预测的联合优化增强了泛化能力并减少了过拟合。
• 通过指针-生成机制，模型在处理未登录词令牌方面表现出强鲁棒性，提升了实际应用中的适用性。
• 消融实验确认，每个组件——层次化编码、自注意力机制和多任务学习——均独立且协同地对性能提升做出贡献。