[论文解读] BERT_SE: A Pre-trained Language Representation Model for Software Engineering

Eliane Maria De Bortoli Fávero, Dalcimar Casanova|arXiv (Cornell University)|Dec 1, 2021

Software Engineering Research参考文献 28被引用 4

一句话总结

本文提出 BERT_SE，一种针对软件工程（SE）文本数据微调的领域特定上下文语言表示模型，旨在提升需求及相关技术文档的语义理解能力。通过在精心筛选的 SE 领域语料库上微调 BERT_base 模型，BERT_SE 在句子相似性表示方面相比通用的 BERT_base 模型实现了平均 13% 的性能提升，证明其在 SE 领域自然语言处理任务中表现更优。

ABSTRACT

The application of Natural Language Processing (NLP) has achieved a high level of relevance in several areas. In the field of software engineering (SE), NLP applications are based on the classification of similar texts (e.g. software requirements), applied in tasks of estimating software effort, selection of human resources, etc. Classifying software requirements has been a complex task, considering the informality and complexity inherent in the texts produced during the software development process. The pre-trained embedding models are shown as a viable alternative when considering the low volume of textual data labeled in the area of software engineering, as well as the lack of quality of these data. Although there is much research around the application of word embedding in several areas, to date, there is no knowledge of studies that have explored its application in the creation of a specific model for the domain of the SE area. Thus, this article presents the proposal for a contextualized embedding model, called BERT_SE, which allows the recognition of specific and relevant terms in the context of SE. The assessment of BERT_SE was performed using the software requirements classification task, demonstrating that this model has an average improvement rate of 13% concerning the BERT_base model, made available by the authors of BERT. The code and pre-trained models are available at https://github.com/elianedb.

研究动机与目标

• 为解决软件工程（SE）领域中低质量、非正式且复杂的文本数据带来的挑战，这些数据阻碍了有效自然语言处理应用的实现。
• 克服通用预训练模型（如 BERT_base）在捕捉 SE 文本中领域特异性语义和上下文细微差别的局限性。
• 开发一种专为 SE 任务（如需求分类和工作量估算）量身定制的上下文语言表示模型。
• 证明在 SE 特定的未标注文本上微调通用模型，可显著提升语义相似性与表示准确性。

提出的方法

• 在大规模未标注 SE 领域文本语料库（corp_SE）上微调预训练的 BERT_base 模型，以适应该领域。
• 使用包含软件需求、用户故事、缺陷报告和用例的领域特定语料库，重新训练模型参数，同时保留其基于 Transformer 的架构。
• 在微调过程中应用掩码语言建模和下一句预测目标，以保持与 SE 相关的上下文语义。
• 通过句子表示之间的余弦相似度评估模型性能，以衡量语义相近程度。
• 在多个训练周期和句子对上对比 BERT_SE 与 BERT_base 的性能，以评估性能提升。
• 公开发布预训练模型和代码，以支持可复现性，并推动 SE 领域自然语言处理研究的广泛应用。

实验结果

研究问题

• RQ1 在 SE 特定文本数据上微调的预训练语言模型，是否能比通用模型更优地表示软件需求的语义？
• RQ2 领域特定微调在多大程度上提升了 SE 环境中文本相似度检测的准确性？
• RQ3 BERT_SE 是否在捕捉 SE 术语的多义性和上下文敏感语义方面优于 BERT_base？
• RQ4 微调训练周期数如何影响 BERT_SE 模型在 SE 文本表示中的性能？

主要发现

• BERT_SE 在所有评估句子中，相比 BERT_base 实现了平均 13% 的句子相似性表示性能提升。
• 该提升在所有测试案例中保持一致，余弦相似度的平均差异为正，表明 BERT_SE 表现更优。
• 差异的标准差较低，表明性能增益稳定且可靠。
• 当微调周期数超过 100 后，性能提升不再显著，表明模型已收敛。
• 该模型在捕捉上下文敏感语义方面表现出强鲁棒性与有效性，例如能准确区分编程语境中 'language' 一词的歧义。
• 结果证实，领域特定微调能显著增强 SE 自然语言处理任务中的语义表示能力。