[논문 리뷰] Deep Learning Models in Software Requirements Engineering

Maria Naumcheva|arXiv (Cornell University)|2021. 05. 17.

Software Engineering Research참고 문헌 27인용 수 4

한 줄 요약

이 논문은 3,000개 샘플로 구성된 요구사항 데이터셋을 사용하여, 변분 오토인코더(VAEs)를 활용한 자동 소프트웨어 요구사항 생성에 대한 적용을 조사한다. 'the shall shall to to'와 같은 반복적이고 의미 없는 어휘들로 구성된 문장들을 대부분 생성함에도 불구하고, 요구사항 공학 분야에서 딥 생성 모델링을 위한 기초 틀을 구축하고, 데이터셋 크기와 모델 아키텍처를未래 개선을 위한 핵심 요소로 규명한다.

ABSTRACT

Requirements elicitation is an important phase of any software project: the errors in requirements are more expensive to fix than the errors introduced at later stages of software life cycle. Nevertheless, many projects do not devote sufficient time to requirements. Automated requirements generation can improve the quality of software projects. In this article we have accomplished the first step of the research on this topic: we have applied the vanilla sentence autoencoder to the sentence generation task and evaluated its performance. The generated sentences are not plausible English and contain only a few meaningful words. We believe that applying the model to a larger dataset may produce significantly better results. Further research is needed to improve the quality of generated data.

연구 동기 및 목표

• 딥 생성 모델, 특히 변분 오토인코더(VAEs)를 활용한 자동 소프트웨어 요구사항 생성의 가능성 탐색.
• VAEs가 소프트웨어 요구사항 텍스트로부터 의미 있는 의미 표현을 학습하고, 타당하고 일관된 요구사항을 생성할 수 있는지 평가.
• 요구사항 공학 분야에서 소규모 전문 분야 데이터셋에 적용했을 때 현재 VAE 기반 접근법의 한계 규명.
• 자동 요구사항 생성을 위한 기초 모델과 데이터셋을 설정하여 향후 연구의 기반 마련.

제안 방법

• 순차적 단어 생성을 위해 양방향 LSTM 인코더, 변분 추론 모듈, LSTM 디코더를 갖춘 변분 오토인코더(VAE)를 학습.
• 입력 단어를 조밀한 벡터 공간에 표현하기 위해 사전 학습된 GloVe 단어 임베딩을 사용.
• 문장 토큰화,标 punctuations 제거, 어휘 제한(상위 1,000개 빈도어휘)을 통해 데이터셋 전처리.
• 생성 품질 평가를 위해 두 개의 실제 요구사항 간의 잠재공간 보간 수행.
• ~3,000개 항목으로 구성된 맞춤형 요구사항 데이터셋을 사용해 100 에포크 동안 모델 학습.
• 질적 검토 및 의미 일관성 분석을 통해 생성된 출력을 실제 요구사항과 비교 평가.

실험 결과

연구 질문

• RQ1 소규모 전문 분야 데이터셋에서 VAE 기반 오토인코더는 의미적으로 유의미하고 문법적으로 올바른 소프트웨어 요구사항을 생성할 수 있는가?
• RQ2 생성된 요구사항은 어휘 다양성과 의미적 내용 측면에서 실제 요구사항과 비교해 어떤 품질과 일관성을 가지는가?
• RQ3 데이터셋 크기가 소프트웨어 요구사항 생성에서 VAE의 성능에 어떤 영향을 미치는가?
• RQ4 조건부 VAE, 확장된 CNN 디코더 등 아키텍처 수정 사항 중 어떤 것이 이 작업의 생성 품질 향상에 기여할 수 있는가?

주요 결과

• 모델은 'the'와 'to'와 같은 반복적인 불용어로 구성된 문장들을 생성했으며, 'system'과 'shall'과 같은 의미 있는 단어는 소수만 포함.
• 생성 출력에서 빈도가 높은 의미 있는 단어는 'system'과 'shall'이었으며, 이는 실제 요구사항에서 매우 흔한 요소이므로 모델이 일부 핵심 의미 특징을 부분적으로 학습한 것으로 나타남.
• 100 에포크의 학습에도 불구하고 생성된 문장은 문법적 구조와 의미 일관성이 결여되어 있어 현재 데이터셋에서 생성 품질이 열악함.
• 학습 데이터셋의 크기가 작기 때문에 모델 성능이 제한되어 있으며, 의미 있는 향상을 위해서는 더 큰 데이터셋이 필수적임.
• 잠재공간 보간 결과는 명확한 의미적 진행이 없었으며, 이는 모델이 의미적으로 분리된 표현을 학습하지 못했음을 재확인.
• 논문은 VAE가 요구사항 생성을 위한 타당한 시작점이지만, 더 큰 데이터셋과 고도화된 아키텍처를 통해 상당한 향상이 필요하다고 결론 내림.