[论文解读] Comment Generation for Source Code: State of the Art, Challenges and Opportunities

Xiaoran Wang, Benwen Zhang|arXiv (Cornell University)|Jan 5, 2018

Software Engineering Research参考文献 37被引用 4

一句话总结

本综述综合了源代码注释生成领域的最新进展，将方法分类为信息检索、程序结构分析和外部软件资源利用三类。它指出了关键挑战，如标注数据不足、难以生成富含语义意图的注释，以及评估标准不一致等问题，同时强调了在深度学习、无监督方法和可定制化注释模型方面的机遇。

ABSTRACT

Researches have shown that most effort of today's software development is maintenance and evolution. Developers often use integrated development environments, debuggers, and tools for code search, testing, and program understanding to reduce the tedious tasks. One way to make software development more efficient is to make the program more readable. There have been many approaches proposed and developed for this purpose. Among these approaches, comment generation for source code is gaining more and more attention and has become a popular research area. In this paper, the state of art in comment generation research area are summarized and the challenges and future opportunities are discussed.

研究动机与目标

• 提供当前源代码注释生成技术的全面概述。
• 识别数据质量、评估标准化和注释类型限制方面的关键挑战。
• 探索利用深度学习和无监督方法推进注释生成的机遇。
• 突出在生成描述性摘要之外的语义意图丰富型注释方面的差距。
• 倡导建立标准化基准和高质量训练数据集，以提升方法间的可复现性和可比性。

提出的方法

• 将注释生成技术分为三类主要方法：信息检索、程序结构分析和外部软件资源利用。
• 回顾将代码视为'词袋'的信息检索方法，用于检索相关短语或术语。
• 分析利用程序结构（如数据流图和高层操作模板）生成自然语言摘要的方法。
• 考察利用外部资源（如 Stack Overflow、提交日志和错误报告）以增强注释生成的技术。
• 评估适用于代码标识符的底层NLP技术，如词性标注、语义相似性及词共现模型。
• 讨论无监督和基于序列的模型（如RNN）在端到端注释生成中的潜力，尽管其在该领域先前应用有限。

实验结果

研究问题

• RQ1 在源代码注释生成中占主导地位的技术方法是什么？它们在设计和应用上如何不同？
• RQ2 为何当前注释生成仍局限于描述性注释？是什么阻碍了语义意图丰富或设计层面注释的生成？
• RQ3 在构建标准化评估基准和高质量训练数据集方面面临的主要挑战是什么？
• RQ4 如何利用无监督和深度学习技术（如RNN）来提升注释生成的质量和泛化能力？
• RQ5 外部软件资源（如论坛帖子和提交信息）在仅依赖源代码的基础上，能在多大程度上增强注释生成？

主要发现

• 基于信息检索的方法将代码视为词袋，仅生成类似关键词的短语，缺乏语法结构或完整句子。
• 基于程序结构的方法利用数据流分析和高层操作模板，可生成更连贯的注释，但仅限于特定代码结构（如循环或条件语句）。
• 基于外部资源的方法（如挖掘 Stack Overflow）在复用人工编写的代码-注释对用于训练和推理方面展现出潜力。
• 尽管已有进展，但尚未有研究将RNN应用于注释生成，尽管其在摘要生成和机器翻译等其他NLP任务中表现优异。
• 缺乏高质量、标注良好的数据集仍是主要瓶颈，限制了监督学习的应用，并阻碍了不同方法间的公平比较。
• 当前评估严重依赖人工判断，降低了可复现性，并阻碍了标准化度量的开发。