[论文解读] EditSum: A Retrieve-and-Edit Framework for Source Code Summarization

Jia Li, Yongmin Li+4 more|arXiv (Cornell University)|Aug 26, 2023

Software Engineering ResearchComputer Science参考文献 30被引用 3

一句话总结

EditSum 提出了一种用于源代码摘要的检索-编辑框架，通过将从检索到的相似代码摘要（原型）中提取的模式化词汇与输入代码中的语义关键词相结合，提升了摘要的丰富性。通过将原型视为结构模板，并基于输入代码的语义对其进行编辑，EditSum 在包含 200 万个样本的 Java 语料库上超越了当前最先进模型，生成的摘要更具信息量、关键词更丰富，且在人工评估中得分更优。

ABSTRACT

Existing studies show that code summaries help developers understand and maintain source code. Unfortunately, these summaries are often missing or outdated in software projects. Code summarization aims to generate natural language descriptions automatically for source code. Code summaries are highly structured and have repetitive patterns. Besides the patternized words, a code summary also contains important keywords, which are the key to reflecting the functionality of the code. However, the state-of-the-art approaches perform poorly on predicting the keywords, which leads to the generated summaries suffering a loss in informativeness. To alleviate this problem, this paper proposes a novel retrieve-and-edit approach named EditSum for code summarization. Specifically, EditSum first retrieves a similar code snippet from a pre-defined corpus and treats its summary as a prototype summary to learn the pattern. Then, EditSum edits the prototype automatically to combine the pattern in the prototype with the semantic information of input code. Our motivation is that the retrieved prototype provides a good start-point for post-generation because the summaries of similar code snippets often have the same pattern. The post-editing process further reuses the patternized words in the prototype and generates keywords based on the semantic information of input code. We conduct experiments on a large-scale Java corpus and experimental results demonstrate that EditSum outperforms the state-of-the-art approaches by a substantial margin. The human evaluation also proves the summaries generated by EditSum are more informative and useful. We also verify that EditSum performs well on predicting the patternized words and keywords.

研究动机与目标

• 为解决当前最先进神经模型在预测代码摘要中低频、功能关键性关键词方面的表现不佳问题。
• 通过利用相似代码片段中的可复用模式，提升自动生成代码摘要的信息量和结构质量。
• 设计一种结合检索式模式学习与语义编辑的框架，以实现更优的摘要生成。
• 在保持高摘要质量与跨项目可复用性的同时，减少对手动模板创建的依赖。

提出的方法

• 检索模块使用信息检索技术，基于语义和结构相似性，从大规模平行语料库中查找最相似的代码片段。
• 系统将检索到的代码片段的摘要视为原型，为摘要结构提供可复用的模式（例如，'如果...则返回 true'）。
• 编辑模块采用神经网络，根据输入代码的语义内容，替换或插入关键词来修改原型摘要。
• 该模型联合学习保留原型中的模式化词汇，同时从输入代码的语义中生成新的上下文相关关键词。
• 该框架在大规模 Java 数据集上端到端进行训练，编辑模块同时依赖于输入代码和检索到的原型。
• 该方法避免将检索到的摘要视为辅助输入，而是将其作为编辑的结构支架。

实验结果

研究问题

• RQ1 检索-编辑框架是否能通过复用相似代码摘要中的结构模式，提升代码摘要的信息量？
• RQ2 将原型模式与输入代码语义相结合，是否能比端到端神经模型带来更好的关键词预测效果？
• RQ3 所提出的方法是否能在生成简洁、准确且信息丰富的摘要方面，优于基于模板和神经网络的基线模型？
• RQ4 该模型在不同长度和复杂度的代码片段上泛化能力如何？

主要发现

• EditSum 在大规模 200 万个样本的 Java 语料库上显著优于当前最先进神经基线模型和基于信息检索的方法，ROUGE 和 BLEU 分数更优。
• 人工评估确认，EditSum 生成的摘要更具信息量和实用性，与基线相比，相关性与清晰度更高。
• 该模型生成了更高比例的低频、功能关键性关键词，减少了先前模型中常见的语义信息损失。
• EditSum 在不同代码长度下表现良好，无论代码片段复杂度如何，均能保持高质量输出。
• 该框架能有效保留原型中的模式化词汇（例如，'如果...则返回 true'），同时适应输入代码中的新语义内容。
• 案例研究显示，EditSum 通过复用结构模板并注入领域特定关键词，生成了更自然、更符合上下文的摘要。