[论文解读] Automatic Source Code Summarization with Extended Tree-LSTM

Yusuke Shido, Yasuaki Kobayashi+3 more|arXiv (Cornell University)|Jun 19, 2019

Natural Language Processing Techniques参考文献 29被引用 10

一句话总结

本文提出多路树LSTM（Multi-way Tree-LSTM），作为Tree-LSTM的扩展，可处理具有任意数量子节点且子节点有序的抽象语法树（AST），此类结构在源代码中普遍存在，从而实现更优的源代码摘要生成。在代码注释数据集上的评估表明，该模型在复杂AST上显著优于当前最先进方法，并能生成比人工编写摘要更具表现力的摘要。

ABSTRACT

Neural machine translation models are used to automatically generate a document from given source code since this can be regarded as a machine translation task. Source code summarization is one of the components for automatic document generation, which generates a summary in natural language from given source code. This suggests that techniques used in neural machine translation, such as Long Short-Term Memory (LSTM), can be used for source code summarization. However, there is a considerable difference between source code and natural language: Source code is essentially {\em structured}, having loops and conditional branching, etc. Therefore, there is some obstacle to apply known machine translation models to source code. Abstract syntax trees (ASTs) capture these structural properties and play an important role in recent machine learning studies on source code. Tree-LSTM is proposed as a generalization of LSTMs for tree-structured data. However, there is a critical issue when applying it to ASTs: It cannot handle a tree that contains nodes having an arbitrary number of children and their order simultaneously, which ASTs generally have such nodes. To address this issue, we propose an extension of Tree-LSTM, which we call \emph{Multi-way Tree-LSTM} and apply it for source code summarization. As a result of computational experiments, our proposal achieved better results when compared with several state-of-the-art techniques.

研究动机与目标

• 解决现有Tree-LSTM模型在处理具有任意数量有序子节点的AST时的局限性。
• 通过利用AST中的结构信息而非将代码视为扁平序列，提升源代码摘要质量。
• 设计一种神经网络架构，有效捕捉程序的层次化与有序结构，以实现更优的代码到文本生成。
• 证明基于所提出的多路树LSTM的树结构模型在代码摘要任务中优于序列模型（如标准LSTM）。
• 生成比现有方法（包括训练数据中的人工标注注释）更具表现力和准确性的自然语言摘要。

提出的方法

• 扩展Tree-LSTM架构，支持具有任意数量子节点且保持子节点顺序的节点，解决先前Tree-LSTM变体的关键局限。
• 设计一种可微分的神经网络单元，通过可学习门控机制聚合子节点表示以计算隐藏状态，同时保留结构与顺序信息。
• 将多路树LSTM作为编码器，集成于序列到序列模型中，用于源代码摘要，将AST映射为稠密向量表示。
• 在大规模方法代码对数据集上端到端训练模型，使用标准神经机器翻译训练目标，对应文档注释。
• 在编码器（多路树LSTM）与解码器（LSTM）之间应用注意力机制，对齐代码结构与自然语言输出。
• 使用交叉熵损失与结构反向传播进行优化，实现基于梯度的树结构输入学习。

实验结果

研究问题

• RQ1 修改后的Tree-LSTM架构能否有效建模具有任意数量有序子节点的AST，这类结构在实际编程语言中普遍存在？
• RQ2 与标准LSTM等序列模型相比，使用树结构编码器（多路树LSTM）是否能带来更好的代码摘要性能？
• RQ3 模型性能如何随AST复杂度变化，例如节点数量或最大节点度数？
• RQ4 生成的摘要是否在某些情况下比训练数据中的人工编写文档更具表现力或语义丰富度？
• RQ5 所提出模型在不同注释长度和结构模式下的泛化能力如何？

主要发现

• 所提出的多路树LSTM在代码摘要任务中显著优于现有最先进模型，尤其在节点数量多或子节点度数高的复杂AST上表现突出。
• 单层多路树LSTM模型在BLEU-4指标上优于基线模型，尤其在处理具有大规模或深度嵌套AST的代码时优势明显。
• 该模型生成的摘要不仅准确，且在多个案例中比原始人工注释更具表现力，表明其具备更强的语义理解能力。
• 性能提升在高节点数和高最大度数的AST上最为显著，证明了模型在处理复杂代码结构方面的优势。
• 模型在不同注释长度下保持稳定性能，尤其在生成中等长度摘要时表现更优。
• 定性分析表明，生成的摘要语言流畅、语义准确，且在某些情况下能以更自然或信息量更高的方式重述或增强原始注释。