[논문 리뷰] SE3M: A Model for Software Effort Estimation Using Pre-trained Embedding Models.

Eliane Maria De Bortoli Fávero, Dalcimar Casanova외 1명|arXiv (Cornell University)|2020. 06. 30.

Software Engineering Research참고 문헌 68인용 수 9

한 줄 요약

이 논문은 요구사항 텍스트로부터 직접적인 노력 예측을 위해 미세조정된 사전 훈련된 임베딩—특히 BERT—을 활용하는 소프트웨어 노력 추정 모델인 SE3M을 제안한다. 심층 학습 아키텍처와 함께 문맥 기반 임베딩을 사용함으로써 SE3M는 단일 프로젝트 평가에서 평균 절대 오차(MAE)가 4.25이고 표준편차가 0.17임을 달성하여 높은 신뢰성과 낮은 계산 비용을 입증한다.

ABSTRACT

Estimating effort based on requirement texts presents many challenges, especially in obtaining viable features to infer effort. Aiming to explore a more effective technique for representing textual requirements to infer effort estimates by analogy, this paper proposes to evaluate the effectiveness of pre-trained embeddings models. For this, two embeddings approach, context-less and contextualized models are used. Generic pre-trained models for both approaches went through a fine-tuning process. The generated models were used as input in the applied deep learning architecture, with linear output. The results were very promising, realizing that pre-trained incorporation models can be used to estimate software effort based only on requirements texts. We highlight the results obtained to apply the pre-trained BERT model with fine-tuning in a single project repository, whose value is the Mean Absolute Error (MAE) is 4.25 and the standard deviation of only 0.17, which represents a result very positive when compared to similar works. The main advantages of the proposed estimation method are reliability, the possibility of generalization, speed, and low computational cost provided by the fine-tuning process, and the possibility to infer new or existing requirements.

연구 동기 및 목표

• 요구사항 텍스트로부터 효과적인 특징을 추출하는 데 도전 과제를 해결하기 위해.
• 사전 훈련된 임베딩 모델—비문맥 기반 및 문맥 기반—이 노력 추정에 얼마나 효과적인지 평가하기 위해.
• 미세조정된 사전 훈련된 모델을 활용하여 추정의 신뢰성과 일반화 능력을 향상시키기 위해.
• 전이 학습을 통해 훈련 시간과 계산 자원을 줄이고 정확도를 유지하면서 노력 추정의 계산 비용을 낮추고 속도를 높이기 위해.
• 통합된 임베딩 기반 접근 방식을 통해 신규 및 기존 요구사항 모두에 대한 추정을 가능하게 하기 위해.

제안 방법

• 요구사항 텍스트로부터 특징 추출기로 비문맥 기반 및 문맥 기반 사전 훈련된 임베딩 모델을 활용하기 위해.
• 프로젝트별 요구사항 데이터에 대해 일반적인 사전 훈련된 모델(예: BERT)을 미세조정하여 표현을 적응시키기 위해.
• 생성된 임베딩을 심층 학습 아키텍처에 입력하여 노력 예측을 위한 선형 출력 레이어를 활용하기 위해.
• 모델 성능 평가를 위해 미세조정 및 평가에 단일 프로젝트 레포지터리를 사용하기 위해.
• 정확도를 유지하면서 훈련 시간과 계산 자원을 줄이기 위해 전이 학습을 적용하기 위해.
• 주요 평가 지표로 평균 절대 오차(MAE)를 사용하여 모델을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 임베딩 모델은 소프트웨어 노력 추정을 위한 요구사항 텍스트를 효과적으로 표현할 수 있는가?
• RQ2 비미세조정 기반 대비 미세조정된 모델이 노력 추정 정확도를 얼마나 향상시키는가?
• RQ3 요구사항 추정 작업에서 문맥 기반 임베딩(BERT 등)과 비문맥 기반 임베딩의 성능은 어떻게 비교되는가?
• RQ4 제안된 모델이 단일 프로젝트 내 다양한 요구사항에 대해 얼마나 일반화되는가?
• RQ5 기존 노력 추정 기법들과 비교할 때 모델의 계산 효율성과 신뢰성은 어느 정도인가?

주요 결과

• SE3M 모델은 단일 프로젝트 레포지터리에서 미세조정된 BERT를 사용할 때 평균 절대 오차(MAE)가 4.25를 기록했다.
• MAE의 표준편차는 뿐이며, 이는 예측의 높은 일관성과 신뢰성에 기인한다.
• 미세조정된 BERT는 다른 임베딩 접근 방식보다 뛰어난 성능을 보이며, 문맥 기반 표현의 효과성을 입증한다.
• 효율적인 미세조정 과정 덕분에 낮은 계산 비용과 높은 속도를 달성했다.
• 동일한 임베딩 프레임워크를 사용하여 신규 및 기존 요구사항 모두에 대해 정확한 추정이 가능하다.
• 요구사항 기반 노력 추정 분야에서 유사한 연구들과 비교할 때 강력한 성능 기준을 제시한다.