[논문 리뷰] Investigating Software Testability and Test cases Effectiveness

Mamdouh Alenezi|arXiv (Cornell University)|2022. 01. 25.

Software Engineering Research인용 수 4

한 줄 요약

이 연구는 객체 지향 시스템에서 소프트웨어 테스트 가능성과 테스트 케이스 효과성을 예측하기 위해 정적 코드 메트릭과 테스트 메트릭 간의 관계를 조사한다. 1,186개의 자바 오픈소스 프로젝트를 대상으로 돌연변이 분석과 다수의 특성 선택 알고리즘을 적용한 결과, 크기 및 복잡도 메트릭—특히 NBI, RFC, LOC, LOCCOM, WMC, NMC—이 테스트 가능성과 테스트 효과성의 핵심 예측 변수로 규명되었으며, NBI와 RFC는 모든 평가 방법에서 가장 영향력 있는 요소로 나타났다.

ABSTRACT

Software measurement is an essential management tool to develop robust and maintainable software systems. Software metrics can be used to control the inherent complexities in software design. To guarantee that the components of the software are inevitably testable, the testability attribute is used, which is a sub-characteristics of the software's maintabilility as well as quality assurance. This study investigates the relationship between static code and test metrics and testability and test cases effectiveness. The study answers three formulated research questions. The results of the analysis showed that size and complexity metrics are suitable for predicting the testability of object-oriented classes.

연구 동기 및 목표

• 정적 코드 메트릭과 테스트 메트릭이 객체 지향 클래스의 소프트웨어 테스트 가능성과 테스트 케이스 효과성에 미치는 영향을 조사하는 것.
• 객체 지향 시스템에서 테스트 가능성과 테스트 효과성을 예측하기 위해 가장 관련성이 높은 코드 및 테스트 메트릭을 특정하는 것.
• 소프트웨어 메트릭을 활용하여 비효율적인 테스트 케이스와 효과적인 테스트 케이스를 구분하는 예측 모델을 개발하는 것.
• 개발자가 테스트 설계와 소프트웨어 품질을 향상시키기 위해 효과적인 메트릭을 식별하고 활용할 수 있도록 지원하는 것.

제안 방법

• 정적 코드 및 테스트 메트릭을 활용해 1,186개의 오픈소스 자바 프로젝트로부터 데이터를 수집하였다.
• 테스트 케이스 효과성을 돌연변이 점수를 테스트 품질의 대체 지표로 사용하여 계산하였다.
• 메트릭 중요도를 순위 매기기 위해 다수의 특성 선택 알고리즘—Gain Ratio, Information Gain, Symmetrical Uncertainty, OneR—을 적용하였다.
• 다양한 분류기와 10겹 교차검증을 사용하여 모델 성능을 평가하고 정밀도를 확보하였다.
• 분류 정확도 향상을 위해 평균 효과성(이산화 노이즈)을 보이는 테스트 케이스를 제외하였다.
• 코드 크기와 복잡도 두 범주로 나누어 총 28개 메트릭의 예측 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 정적 코드 메트릭과 테스트 메트릭 중에서 객체 지향 클래스의 소프트웨어 테스트 가능성 예측에 가장 적합한 것은 무엇인가?
• RQ2 다양한 특성 선택 알고리즘이 테스트 효과성 예측에 있어 코드 및 테스트 메트릭의 중요도를 어떻게 순위 매우는가?
• RQ3 코드 및 테스트 메트릭을 활용한 예측 모델이 비효율적이고 효과적인 테스트 케이스를 효과적으로 구분할 수 있는가?

주요 결과

• 크기 및 복잡도 메트릭—특히 NBI, RFC, LOC, LOCCOM, WMC, NMC—은 테스트 가능성과 테스트 케이스 효과성의 강력한 예측 변수이다.
• NBI(바이트코드 명령어 수)와 RFC(클래스의 응답 수)는 모든 특성 선택 알고리즘에서 일관되게 상위 두 번째로 중요한 메트릭으로 평가되었다.
• LOC(코드 라인 수)와 LOCCOM(주석 라인 수)는 모든 방법에서 상위 네 개 이내로 순위 매겨져 테스트 가능성 예측에서의 관련성을 보였다.
• WMC(클래스당 가중 평균 메서드 수)와 NMC(메서드 호출 수)는 일관되게 상위 다섯 개 이내로 순위 매겨져 복잡도 기반의 테스트 가능성 평가에서의 역할을 확인하였다.
• 테스트 효과성의 대체 지표로 돌연변이 점수를 사용한 것이 교차검증 및 다수의 평가 지표를 통해 검증되어 모델의 신뢰성을 확보하였다.
• 이 연구는 코드 품질 메트릭이 테스트 효과성에 상당한 영향을 미친다는 점을 확인하였으며, 개발자가 테스트 설계와 유지보수성을 향상시키기 위한 실질적인 통찰을 제공한다.