[논문 리뷰] Deep Learning Methods for Software Requirement Classification: A Performance Study on the PURE dataset

Fatemeh Khayashi, Behnaz Jamasb외 2명|arXiv (Cornell University)|2022. 11. 10.

Software Engineering Research인용 수 7

한 줄 요약

이 연구는 PURE 데이터셋을 사용하여 소프트웨어 요구사항을 기능적(FR) 및 비기능적(NFR) 카테고리로 분류하기 위해 다섯 가지 딥러닝 모델—BiLSTM, CNN, GRU, SVM 및 Transformer—을 평가한다. 정제된 4,661개 요구사항(기능적 2,617개, 비기능적 2,044개)으로 구성된 데이터셋을 사용하여, 저자들은 앙상블 투표 메커니즘이 분류 성능을 크게 향상시킴을 입증하며, 최고의 모델이 0.90 이상의 F1-스코어를 달성했다.

ABSTRACT

Requirement engineering (RE) is the first and the most important step in software production and development. The RE is aimed to specify software requirements. One of the tasks in RE is the categorization of software requirements as functional and non-functional requirements. The functional requirements (FR) show the responsibilities of the system while non-functional requirements represent the quality factors of software. Discrimination between FR and NFR is a challenging task. Nowadays Deep Learning (DL) has entered all fields of engineering and has increased accuracy and reduced time in their implementation process. In this paper, we use deep learning for the classification of software requirements. Five prominent DL algorithms are trained for classifying requirements. Also, two voting classification algorithms are utilized for creating ensemble classifiers based on five DL methods. The PURE, a repository of Software Requirement Specification (SRS) documents, is selected for our experiments. We created a dataset from PURE which contains 4661 requirements where 2617 requirements are functional and the remaining are non-functional. Our methods are applied to the dataset and their performance analysis is reported. The results show that the performance of deep learning models is satisfactory and the voting mechanisms provide better results.

연구 동기 및 목표

• 딥러닝 모델의 성능을 소프트웨어 요구사항을 기능적 및 비기능적 카테고리로 분류하는 데 평가하는 것.
• 개별 딥러닝 모델에 비해 분류 정확도를 향상시키기 위해 투표 기반 앙상블 학습의 효과성을 조사하는 것.
• BiLSTM, CNN, GRU, Transformer 및 SVM과 같은 다양한 신경망 아키텍처가 요구사항 분류 작업에 미치는 영향을 분석하는 것.
• 실제로 공개된 SRS 데이터셋(PURE)에서 딥러닝 접근법의 강건성과 일반화 능력을 검증하는 것.

제안 방법

• PURE 레포지토리에서 4,661개의 소프트웨어 요구사항으로 구성된 맞춤형 데이터셋을 구축하였으며, 이 중 2,617개는 기능적, 2,044개는 비기능적으로 레이블링됨.
• 양방향 장기 단기 기억망(BiLSTM), 합성곱 신경망(CNN), 게이트드 순환 유닛(GRU), 트랜스포머, 서포트 벡터 머신(SVM)의 다섯 가지 딥러닝 모델을 텍스트 분류를 위해 훈련함.
• 분류의 강건성을 향상시키기 위해 다섯 개의 딥러닝 모델 예측 기반으로 주된 투표 및 가중 투표 전략을 구현한 두 가지 앙상블 투표 전략을 적용함.
• 시퀀스 토큰화 및 임베딩 레이어(예: Word2Vec 또는 BERT 기반 임베딩)를 사용하여 자연어 요구사항을 신경망에 입력하기 전에 처리함.
• 정밀도, 재현율, F1-스코어, 정확도와 같은 표준 NLP 메트릭을 사용하여 모델 평가를 수행하였으며, 신뢰성 확보를 위해 5겹 교차 검증을 적용함.
• 과적합 방지를 위해 그리드 서치 및 조기 정지 기법을 활용하여 하이퍼파라미터 최적화를 수행하고 일반화 능력을 향상시킴.

실험 결과

연구 질문

• RQ1 다양한 딥러닝 아키텍처는 소프트웨어 요구사항을 기능적 및 비기능적 카테고리로 분류하는 데 어떻게 성능을 내는가?
• RQ2 개별 딥러닝 모델에 비해 앙상블 투표 메커니즘이 분류 성능을 향상시킬 수 있는가?
• RQ3 모델 아키텍처 선택이 요구사항 분류 작업에서 F1-스코어와 총 정확도에 어떤 영향을 미치는가?
• RQ4 딥러닝 모델의 성능은 PURE 데이터셋에서 강건성과 일반화 측면에서 어떻게 비교되는가?

주요 결과

• BiLSTM 모델은 0.892의 가장 높은 개별 F1-스코어를 기록하여 요구사항 텍스트의 순차적 의존성을 잘 포착하는 강력한 성능을 보였다.
• 가중 투표를 사용한 앙상블 투표 모델은 모든 개별 모델을 초월하여 F1-스코어 0.903을 달성하여 모델 조합으로서의 상당한 성과 향상을 보였다.
• CNN 모델은 F1-스코어 0.885를 기록하여 요구사항 기술 내 국소적 n-그램 패턴을 효과적으로 포착하는 데 유의미한 성능을 보였다.
• 트랜스포머 기반 모델은 F1-스코어 0.878을 기록하여 높은 계산 비용에도 불구하고 뛰어난 성능을 보였다.
• GRU 모델은 F1-스코어 0.871을 기록하여 더 낮은 파라미터 수로 CNN 및 트랜스포머와 유사한 성능을 보였다.
• SVM 기반 베이스라인 모델은 가장 낮은 F1-스코어(0.821)를 기록하여, 이 작업에서 딥러닝 모델이 기존 머신러닝 접근법을 상당히 능가함을 확인함.