[논문 리뷰] Improving the Testability of Object-oriented Software during Testing and Debugging Processes

Sujata Khatri, Rajender Singh Chhillar외 1명|arXiv (Cornell University)|2013. 08. 15.

Software Reliability and Analysis Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 객체지향 소프트웨어의 테스트 가능성 향상을 위해 실험 중인 결함 복잡도와 고장 분포를 분석함으로써 신뢰성 성장 모델을 제안한다. 오픈소스 프로젝트(파이썬용 MySQL 및 스쿼링 SQL 클라이언트)의 고장 데이터를 사용하여, 결함 복잡도에 따라 테스트 자원을 할당할 경우 고장 탐지 효율성과 전체적인 테스트 가능성 향상이 가능하다고 입증한다.

ABSTRACT

Testability is the probability whether tests will detect a fault, given that a fault in the program exists. How efficiently the faults will be uncovered depends upon the testability of the software. Various researchers have proposed qualitative and quantitative techniques to improve and measure the testability of software. In literature, a plethora of reliability growth models have been used to assess and measure the quantitative quality assessment of software during testing and operational phase. The knowledge about failure distribution and their complexity can improve the testability of software. Testing effort allocation can be made easy by knowing the failure distribution and complexity of faults, and this will ease the process of revealing faults from the software. As a result, the testability of the software will be improved. The parameters of the model along with the proportion of faults of different complexity to be removed from the software have been presented in the paper .We have used failure data of two object oriented software developed under open source environment namely MySQL for python and Squirrel SQL Client for estimation purpose

연구 동기 및 목표

• 불균형한 결함 복잡도로 인한 객체지향 소프트웨어의 비효율적 결함 탐지 문제 해결.
• 테스트 및 디버깅 과정에서 고장 분포 및 결함 복잡도 지표를 활용해 테스트 가능성을 향상시키기.
• 소프트웨어 시스템 내 고장 탐지 비율을 높이기 위해 테스트 자원 할당 최적화.
• 실제 오픈소스 프로젝트에서의 실험적 고장 데이터를 활용해 테스트 가능성을 평가하고 향상시키는 정량적 모델 개발.
• 결함 복잡도를 기반으로 테스트 우선순위를 정하는 프레임워크 제공으로 소프트웨어 신뢰성 향상.

제안 방법

• MySQL for Python 및 Squirrel SQL Client와 같은 두 개의 오픈소스 객체지향 시스템에서의 고장 데이터 분석.
• 결함의 복잡도에 따라 분류하여 테스트 중 탐지 가능성 평가.
• 결함 복잡도 및 고장 분포 파rameter를 통합한 신뢰성 성장 모델 개발.
• 다양한 복잡도 수준의 결함 중 아직 제거되지 않은 비율을 추정하기 위해 모델 활용.
• 결함 복잡도에 따라 테스트 자원 할당을 유도함으로써 고장 탐지 최적화.
• 두 오픈소스 프로젝트의 실험적 데이터를 사용해 모델의 효과성 검증.

실험 결과

연구 질문

• RQ1 결함 복잡도는 객체지향 소프트웨어의 테스트 가능성에 어떤 영향을 미치는가?
• RQ2 고장 분포 데이터는 테스트 자원 할당 및 고장 탐지 효율성을 향상시키는 데 사용될 수 있는가?
• RQ3 결함 복잡도 기반 테스트 우선순위 설정이 전체 테스트 가능성에 미치는 영향은 무엇인가?
• RQ4 결함 복잡도를 통합한 경우, 신뢰성 성장 모델이 고장 탐지 비율을 얼마나 정확하게 예측할 수 있는가?
• RQ5 기존 테스트 전략 대비 제안된 모델이 테스트 가능성을 얼마나 향상시키는가?

주요 결과

• 높은 복잡도를 가진 결함는 테스트 과정의 초반에 탐지되기 어려워 전체적인 테스트 가능성을 저하시킨다.
• 제안된 모델은 다양한 복잡도 수준의 결함 중 아직 탐지되지 않은 비율을 성공적으로 추정한다.
• 결함 복잡도에 기반한 테스트 자원 할당은 고장 탐지 비율 향상에 명백한 개선 효과를 보인다.
• 파이썬용 MySQL 및 스쿼링 SQL 클라이언트에서의 실험적 데이터는 모델의 예측 정확성을 검증한다.
• 높은 복잡도의 결함에 집중함으로써 더 효율적인 테스트가 가능해지며, 이는 탐지가 어려운 결함에 대한 대응에 유리하다.
• 결함 특성과 고장 패턴에 맞춰 테스트 자원을 보다 잘 조율함으로써 테스트 가능성이 향상된다.