[논문 리뷰] Automatic Creation of Acceptance Tests by Extracting Conditionals from Requirements: NLP Approach and Case Study

Jannik Fischbach, Julian Frattini외 9명|arXiv (Cornell University)|2022. 02. 02.

Software Engineering Techniques and Practices인용 수 6

한 줄 요약

이 논문은 비공식적인 자연어 요구사항의 조건문에서 자동으로 최소 수용 테스트 케이스를 생성하는 도구 기반 NLP 접근법인 CiRA를 제시한다. 미세한 원인-결과 관계를 추출하고 이를 원인-결과 그래프로 모델링함으로써 CiRA는 수작업으로 작성된 케이스에서 71.8%의 자동 테스트 케이스 생성을 달성했으며, 산업 파artner 3곳과의 실제 사례 연구에서 기존에 간과된 80개의 테스트 케이스를 발견했다.

ABSTRACT

Acceptance testing is crucial to determine whether a system fulfills end-user requirements. However, the creation of acceptance tests is a laborious task entailing two major challenges: (1) practitioners need to determine the right set of test cases that fully covers a requirement, and (2) they need to create test cases manually due to insufficient tool support. Existing approaches for automatically deriving test cases require semi-formal or even formal notations of requirements, though unrestricted natural language is prevalent in practice. In this paper, we present our tool-supported approach CiRA (Conditionals in Requirements Artifacts) capable of creating the minimal set of required test cases from conditional statements in informal requirements. We demonstrate the feasibility of CiRA in a case study with three industry partners. In our study, out of 578 manually created test cases, 71.8 % can be generated automatically. Additionally, CiRA discovered 80 relevant test cases that were missed in manual test case design. CiRA is publicly available at www.cira.bth.se/demo/.

연구 동기 및 목표

• 소프트웨어 테스팅에서 노동 집약적이고 실수를 유발하기 쉬운 수작업 수용 테스트 케이스 생성의 과제를 해결한다.
• 비공식적이고 제한 없는 자연어 요구사항에서 테스트 케이스를 자동으로 유도할 수 있는 도구 지원의 부족을 극복한다.
• 완전한 요구사항 커버리지 보장을 위해 최소한의 테스트 케이스 집합을 생성하는 접근법을 개발한다.
• 수작업 과정에서 간과된 테스트 케이스를 식별함으로써 테스트 설계 품질을 향상시킨다.

제안 방법

• 비공식적인 자연어 요구사항에서 조건문을 탐지하기 위해 NLP 기법을 적용한다.
• 서브워드 토큰화를 사용한 시퀀스 레이블링 접근법을 통해 조건문에서 미세한 원인-결과 관계를 추출한다.
• 추출된 관계를 원인-결과 그래프(CEG)로 모델링하여 조건과 결과 간의 논리적 의존성을 표현한다.
• 조합 테스트 설계 원칙을 사용하여 CEG에서 최소한의 필요 테스트 케이스 집합을 유도한다.
• 실행을 위해 기존 테스트 자동화 도구(예: Selenium, Robot Framework)와 통합한다.
• 이식 가능성을 높이기 위해 전이 학습과 서브워드 임베딩을 활용하여 OOV(Out-of-Vocabulary) 단어와 문법적 변형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 RQ1: 자연어 요구사항의 조건문을 효과적으로 추출하고, 그에 담긴 원인-결과 관계를 테스트 케이스 유도를 위해 미세한 수준에서 모델링할 수 있는가?
• RQ2 RQ2: 자동화된 접근법이 수작업 설계 과정과 동일한 테스트 케이스를 생성할 수 있는가?
• RQ3 RQ3: 수작업으로 생성된 테스트 케이스와 자동으로 생성된 테스트 케이스 간의 격차의 근본 원인은 무엇인가?

주요 결과

• CiRA는 사례 연구에서 수작업으로 작성된 578개의 테스트 케이스 중 71.8%를 성공적으로 생성하여 수작업 테스트 설계와 높은 일치도를 보였다.
• 도구는 수작업 테스트 케이스 설계 과정에서 완전히 간과된 80개의 관련 테스트 케이스를 발견하여 테스트 커버리지 향상 능력을 입증했다.
• 서브워드 토큰화를 통해 OOV 단어와 문법적 변형을 다루기 때문에 이전의 NLP 기반 방법보다 우수한 성능을 보였다.
• 의존성 파싱 대신 시퀀스 레이블링을 사용함으로써 실제 비공식 요구사항 텍스트에서 강건성과 일반화 능력이 향상되었다.
• 원인-결과 그래프 모델은 논리적 의존성을 효과적으로 포착하여 최소한의 필요 테스트 케이스 집합을 도출하는 데 기여했다.
• 소스 코드, 주석 처리된 데이터셋, 라이브 데모를 포함하여 도구가 공개되어 재현성과 산업적 도입을 지원한다.