[논문 리뷰] BERT_SE: A Pre-trained Language Representation Model for Software Engineering

Eliane Maria De Bortoli Fávero, Dalcimar Casanova|arXiv (Cornell University)|2021. 12. 01.

Software Engineering Research참고 문헌 28인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학(SE) 텍스트 데이터로 미세조정된 도메인 특화된 문맥 기반 언어 표현 모델인 BERT_SE를 제안한다. 요구사항 및 관련 아티팩트의 의미적 이해를 향상시키기 위해 제안된다. 정제된 SE 전용 코퍼스로 BERT_base를 미세조정함으로써 BERT_SE는 일반적인 BERT_base 모델 대비 문장 유사도 표현에서 평균 13% 향상을 달성하였으며, SE 전용 자연어 처리(NLP) 과제에서 뛰어난 성능을 보여주었다.

ABSTRACT

The application of Natural Language Processing (NLP) has achieved a high level of relevance in several areas. In the field of software engineering (SE), NLP applications are based on the classification of similar texts (e.g. software requirements), applied in tasks of estimating software effort, selection of human resources, etc. Classifying software requirements has been a complex task, considering the informality and complexity inherent in the texts produced during the software development process. The pre-trained embedding models are shown as a viable alternative when considering the low volume of textual data labeled in the area of software engineering, as well as the lack of quality of these data. Although there is much research around the application of word embedding in several areas, to date, there is no knowledge of studies that have explored its application in the creation of a specific model for the domain of the SE area. Thus, this article presents the proposal for a contextualized embedding model, called BERT_SE, which allows the recognition of specific and relevant terms in the context of SE. The assessment of BERT_SE was performed using the software requirements classification task, demonstrating that this model has an average improvement rate of 13% concerning the BERT_base model, made available by the authors of BERT. The code and pre-trained models are available at https://github.com/elianedb.

연구 동기 및 목표

• 소프트웨어 공학(SE)에서 저품질, 비공식적이고 복잡한 텍스트 데이터가 효과적인 NLP 응용을 방해하는 문제를 해결하기 위해.
• BERT_base와 같은 일반적인 사전 훈련된 모델이 SE 텍스트의 도메인 특화된 의미와 문맥적 뉘앙스를 포착하는 데 한계가 있다는 문제를 극복하기 위해.
• 요구사항 분류 및 노력 추정과 같은 SE 과제에 특화된 전문적인 문맥 기반 언어 표현 모델을 개발하기 위해.
• 일반 목적 모델을 SE 전용 비라벨 텍스트에 대해 미세조정함으로써 의미 유사도 및 표현 정확도에서 뚜렷한 향상이 이뤄진다는 것을 입증하기 위해.

제안 방법

• 대규모 비라벨 SE 전용 텍스트 코퍼스(corpus_SE)로 BERT_base 모델을 미세조정하여 도메인에 적합하도록 조정하기 위해.
• 소프트웨어 요구사항, 사용자 스토리, 버그 리포트, 사용 사례를 포함한 도메인 특화 코퍼스를 사용하여, 트랜스포머 기반 아키텍처를 유지하면서 모델의 파라미터를 재학습하기 위해.
• SE에 관련된 문맥적 의미를 유지하기 위해 미세조정 중에 마스킹된 언어 모델링과 다음 문장 예측 목표를 적용하기 위해.
• 문장 표현 간 코사인 유사도를 측정하여 의미적 유사도를 평가하기 위해.
• 성능 향상을 평가하기 위해 여러 훈련 에포크와 문장 쌍에 대해 BERT_SE의 성능을 BERT_base와 비교하기 위해.
• 재현 가능성과 SE NLP 연구 분야에서의 광범위한 채택을 지원하기 위해 사전 훈련된 모델과 코드를 공개하기 위해.

실험 결과

연구 질문

• RQ1 SE 전용 텍스트 데이터로 미세조정된 사전 훈련된 언어 모델은 일반 모델 대비 소프트웨어 요구사항의 더 나은 의미 표현을 달성할 수 있는가?
• RQ2 도메인 특화된 미세조정이 소프트웨어 공학 맥락에서 문장 유사도 검출 정확도를 얼마나 향상시키는가?
• RQ3 BERT_SE는 SE 용어의 다의어성과 문맥에 민감한 의미를 BERT_base보다 더 잘 포착하는가?
• RQ4 미세조정 에포크 수가 SE 텍스트 표현 성능에 BERT_SE 모델에 어떤 영향을 미치는가?

주요 결과

• BERT_SE는 모든 평가 문장에 걸쳐 BERT_base 대비 평균 13%의 문장 유사도 표현 향상을 달성하였다.
• 모든 테스트 케이스에서 일관된 향상이 있었으며, BERT_SE가 유리한 코사인 유사도의 평균 차이가 양수였다.
• 차이의 표준편차가 낮아 안정적이고 신뢰할 수 있는 성능 향상이 있음을 나타내었다.
• 100회를 초과해 미세조정 에포크를 늘여도 추가적인 유의미한 향상이 발생하지 않았으며, 수렴 상태임을 시사하였다.
• 모델은 '프로그래밍 맥락에서의 언어'와 같은 용어의 의미를 해소하는 데 있어 문맥에 민감한 의미를 효과적으로 포착하는 데 뛰어난 강건성과 효과성을 보였다.
• 결과는 도메인 특화된 미세조정이 SE NLP 과제를 위한 의미 표현을 크게 향상시킨다는 것을 확인시켰다.