[논문 리뷰] Agent Based Software Testing Framework (ABSTF) for Application Maintenance

K. Karnavel, V. Divya외 2명|arXiv (Cornell University)|2013. 07. 12.

Software Testing and Debugging Techniques참고 문헌 8인용 수 4

한 줄 요약

이 논문은 소프트웨어 유지보수에서 회귀 테스팅과 결함 탐지를 자동화하기 위해 자율 소프트웨어 에이전트를 사용하는 에이전트 기반 소프트웨어 테스팅 프레임워크(ABSTF)를 제안한다. 에이전트의 자율성, 추적 가능성 분석 및 선택적 회귀 테스팅 알고리즘을 활용함으로써 ABSTF는 테스팅 시간을 단축하고 결함 탐지 정확도를 향상시키며 코드 변경 후 응용 프로그램의 무결성을 유지하는 데 필요한 수동 작업을 최소화한다.

ABSTRACT

Software testing framework can be stated as the process of verifying and validating that a computer program/application works as expected and meets the requirements of the user. Usually testing can be done manually or using tools. Manual testing can be time consuming and tedious, also it requires heavy investment of human resources. Testing tools in fact have many advantages and are widely used nowadays, but also has several disadvantages. One particular problem is that human intervention is no longer needed. Testing tools are of high cost and so, it cannot be used for small companies. Hence in this paper we propose Agent based testing, which is a fast growing approach in testing field. The proposed system (ABSTF) has to reduce the application testing moment, easily find out bug and solve the bug by Regression Testing. Here by we are going to use a safe efficient regression selection technique algorithm to selectively retest the modified program. We also use Traceability relation of completeness checking for agent oriented system, which identifies missing elements in entire application and classifies defect in the testing moment. With the ability of agents to act autonomously, monitoring code changes and generating test cases for the changed version of code can be done dynamically.

연구 동기 및 목표

• 소프트웨어 유지보수에서 전통적인 수동 및 도구 기반 테스팅의 높은 비용과 비효율성 문제를 해결하기 위해.
• 회귀 테스팅 루프에서 테스팅 시간과 자원 소비를 줄이기 위해.
• 코드 변경에 대응하여 동적으로 자동으로 테스트 케이스를 생성할 수 있도록 하기 위해.
• 추적 가능성 기반 완전성 검사로 결함 탐지 정확도를 향상시키기 위해.
• 소규모 및 중소 규모 소프트웨어 개발 팀에 적합한 확장성 있고 비용 효율적인 테스팅 솔루션을 제공하기 위해.

제안 방법

• 코드 변경을 모니터링하고 동적으로 테스팅 프로세스를 시작하는 자율 소프트웨어 에이전트를 활용한다.
• 변경된 컴포넌트와 영향을 받은 컴포넌트만 재테스트하는 안전하고 효율적인 회귀 선택 기법을 구현한다.
• 추적 가능성 관계를 사용하여 테스팅 커버리지의 완전성을 검증하고 누락된 테스트 요소를 탐지한다.
• 에이전트 기반 시스템 원리를 통합하여 테스팅 중 결함의 분류 및 우선순위를 정한다.
• 에이전트가 독립적으로 테스트 케이스를 생성하고 실행하며 결과를 보고하는 프레임워크를 설계한다.
• 요구사항, 코드 및 테스트 케이스를 추적 가능성 매트릭스를 통해 연결하기 위해 모델 기반 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 자율 에이전트는 소프트웨어 유지보수에서 회귀 테스팅의 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 코드 수정 후 선택적이고 효과적인 재테스트를 보장할 수 있는 기법은 무엇인가?
• RQ3 추적 가능성 관계는 테스트 완전성과 결함 탐지에 어떻게 기여하는가?
• RQ4 에이전트 기반 테스팅은 인간의 간섭과 테스팅 시간을 어떻게 줄일 수 있는가?
• RQ5 소규모에서 중소 규모 소프트웨어 기업에 비용 효율적이고 확장 가능한 에이전트 기반 프레임워크를 구현할 수 있는가?

주요 결과

• ABSTF 프레임워크는 선택적 회귀 테스팅을 통해 변경된 컴포넌트와 영향을 받은 컴포넌트에만 집중함으로써 테스팅 시간을 크게 단축시킨다.
• 추적 가능성 기반 분석은 누락된 테스트 요소를 성공적으로 식별하여 테스트 커버리지와 결함 탐지 정확도를 향상시킨다.
• 자율 에이전트는 코드 변경 후 수동 간섭 없이 동적으로 테스트 케이스를 생성하고 실행할 수 있도록 한다.
• 프레임워크는 최소한의 인간 자원 참여로 응용 프로그램의 무결성을 유지하는 데 있어 실현 가능성과 효율성을 입증한다.
• 제안된 접근법은 특히 소규모 개발 팀에 비용 효율적인 상용 테스팅 도구의 대안을 제공한다.
• 에이전트 자율성과 추적 가능성의 통합은 소프트웨어 테스팅 프로세스의 속도와 신뢰성을 모두 향상시킨다.