[论文解读] BashExplainer: Retrieval-Augmented Bash Code Comment Generation based on Fine-tuned CodeBERT

Chi Yu, Guang Yang+3 more|arXiv (Cornell University)|Jun 27, 2022

Software Engineering Research被引用 4

一句话总结

BashExplainer 提出了一种基于检索增强的两阶段 Bash 脚本代码注释生成方法，采用微调后的 CodeBERT 模型。该方法从代码仓库中检索语义和词汇上相似的代码，融合目标代码与检索到的代码的嵌入表示，并通过解码器生成注释，在 BLEU-4 上优于所有基线模型至少 8.75%，在 METEOR 上优于所有基线模型至少 9.29%。

ABSTRACT

Developers use shell commands for many tasks, such as file system management, network control, and process management. Bash is one of the most commonly used shells and plays an important role in Linux system development and maintenance. Due to the language flexibility of Bash code, developers who are not familiar with Bash often have difficulty understanding the purpose and functionality of Bash code. In this study, we study Bash code comment generation problem and proposed an automatic method BashExplainer based on two-stage training strategy. In the first stage, we train a Bash encoder by fine-tuning CodeBERT on our constructed Bash code corpus. In the second stage, we first retrieve the most similar code from the code repository for the target code based on semantic and lexical similarity. Then we use the trained Bash encoder to generate two vector representations. Finally, we fuse these two vector representations via the fusion layer and generate the code comment through the decoder. To show the competitiveness of our proposed method, we construct a high-quality corpus by combining the corpus shared in the previous NL2Bash study and the corpus shared in the NLC2CMD competition. This corpus contains 10,592 Bash codes and corresponding comments. Then we selected ten baselines from previous studies on automatic code comment generation, which cover information retrieval methods, deep learning methods, and hybrid methods.

研究动机与目标

• 为解决 Bash 脚本缺乏自动注释生成的问题，这类脚本虽广泛使用但对非专家而言难以理解。
• 通过为 Bash 代码生成高质量、自然语言风格的注释，提升代码的可读性和可维护性。
• 通过整合 NL2Bash 和 NLC2CMD 的数据，构建一个高质量、大规模的 Bash 代码-注释语料库。
• 开发一种新颖的检索增强深度学习框架，结合信息检索与神经生成技术，用于 Bash 代码的注释生成。

提出的方法

• 在新构建的 Bash 代码语料库上微调 CodeBERT，以创建一个领域特定的 Bash 编码器。
• 使用基于语义和词汇相似性的混合检索模块，为给定的目标代码从代码仓库中查找最相关的代码片段。
• 使用微调后的 CodeBERT 编码器对目标代码和检索到的代码进行编码，生成两个上下文相关的向量表示。
• 对两个向量表示应用归一化和融合层，将其合并为一个更丰富的单一表示。
• 将融合后的表示输入解码器，生成 Bash 代码的自然语言注释。
• 采用两阶段训练策略：首先在语料库上预训练编码器，然后联合训练检索和生成组件。

实验结果

研究问题

• RQ1 与纯深度学习方法相比，检索增强方法是否能提升 Bash 脚本生成注释的质量？
• RQ2 在领域特定的 Bash 语料库上微调 CodeBERT 对代码表征学习的效果如何？
• RQ3 将目标代码与检索到的相似代码的嵌入表示进行融合，是否能比仅使用目标代码的表示生成更优的注释？
• RQ4 在自动评估和人工评估指标方面，BashExplainer 与当前最先进基线模型相比表现如何？
• RQ5 通过消融实验验证，BashExplainer 中各组件的贡献分别是什么？

主要发现

• BashExplainer 在 BLEU-3、BLEU-4、METEOR 和 ROUGE-L 上分别优于所有 10 个基线模型至少 8.75%、9.29%、4.77% 和 3.86%。
• 消融实验证实，检索模块和融合层均显著提升了性能，验证了模型设计的合理性。
• 人工评估表明，BashExplainer 生成的注释比基线模型更准确、更自然。
• 该模型在涉及管道、循环和参数展开等复杂 Bash 命令上也表现出色。
• 构建的包含 10,592 个 Bash 代码-注释对的语料库已公开发布，可作为未来研究的基准。
• 开发了一款基于 BashExplainer 的浏览器插件，可在实际应用中实现实时代码理解。