[논문 리뷰] Freeing Testers from Polluting Test Objectives

Michaël Marcozzi, Sébastien Bardin외 4명|arXiv (Cornell University)|2017. 08. 29.

Software Testing and Debugging Techniques참고 문헌 50인용 수 9

한 줄 요약

이 논문은 흰 상자 테스팅 기준에서 '오염되는' 목적(비가능한, 중복된, 포함된 목적을 종합적으로 지칭)을 식별하고 제거하기 위한 정확하고 확장 가능한 기법인 LClean을 제안한다. Frama-C 플랫폼 내에서 약한 전조건 미분법과 SMT 해결을 통해 논리적 명제를 증명하는 방식으로 문제를 축소함으로써, LClean은 최대 200K LOC의 프로그램에서 테스트 목적의 약 27%를 제거하여 테스트 세트의 정밀도와 효율성을 향상시킨다.

ABSTRACT

Testing is the primary approach for detecting software defects. A major challenge faced by testers lies in crafting efficient test suites, able to detect a maximum number of bugs with manageable effort. To do so, they rely on coverage criteria, which define some precise test objectives to be covered. However, many common criteria specify a significant number of objectives that occur to be infeasible or redundant in practice, like covering dead code or semantically equal mutants. Such objectives are well-known to be harmful to the design of test suites, impacting both the efficiency and precision of testers' effort. This work introduces a sound and scalable formal technique able to prune out a significant part of the infeasible and redundant objectives produced by a large panel of white-box criteria. In a nutshell, we reduce this challenging problem to proving the validity of logical assertions in the code under test. This technique is implemented in a tool that relies on weakest-precondition calculus and SMT solving for proving the assertions. The tool is built on top of the Frama-C verification platform, which we carefully tune for our specific scalability needs. The experiments reveal that the tool can prune out up to 27% of test objectives in a program and scale to applications of 200K lines of code.

연구 동기 및 목표

• 테스터들이 사라진 코드나 의미적으로 동일한 변종과 같은 비가능하거나 중복된 테스트 목적에 시간을 낭비함으로써 커버리지 메트릭스가 왜곡되고 테스팅 효율성이 떨어진다.
• 기존의 접근 방식은 동적 방법이 정확하지 않거나(불완전함), 예를 들어 중복된 변종만 탐지하는 데 국한되어 있어, 세 가지 유형의 오염되는 목적을 동시에 대규모로 다루지 못한다.
• 다양한 흰 상자 기준 전반에 걸쳐 비가능한, 중복된, 포함된 테스트 목적을 탐지하고 제거할 수 있는 통합적이고 확장 가능하며 정확한 기법이 절실한 상황이다.
• 테스트 목적의 의미 있고 중복되지 않은 목표에 집중할 수 있도록 함으로써 테스트 세트의 품질을 향상시키고, 커버리지 측정 및 결함 탐지 능력 평가의 정확성을 높이는 것이 목표이다.

제안 방법

• 핵심 기법은 오염되는 목적의 탐지 문제를 테스트 대상 코드에서 추출한 논리적 명제의 타당성을 증명하는 것으로 축소한다.
• 조건 결과나 변종과 같은 다양한 흰 상자 기준에 의해 정의된 테스트 목적에서 명제를 자동으로 생성한다.
• 약한 전조건 미분법을 사용하여 이러한 명제를 정적 분석하고, 항상 참인지, 거짓인지, 또는 결정 불가능한지 판단한다.
• SMT 해결을 활용하여 명제의 타당성을 형식적으로 검증함으로써, 비가능하거나 중복되거나 포함된 목적을 정확하게 탐지할 수 있다.
• 구현은 Frama-C 검증 플랫폼 기반으로 이루어졌으며, 대규모 C 프로그램에서의 성능과 확장성 향상을 위해 확장 및 최적화되었다.
• 도구는 최대 200K LOC의 프로그램을 처리하고, 형식적 증명 기반으로 목적을 제거함으로써 정확성과 거짓 긍정을 방지한다.

실험 결과

연구 질문

• RQ1 다양한 흰 상자 테스팅 기준 전반에 걸쳐 비가능한, 중복된, 포함된 테스트 목적을 형식적 방법으로 탐지하고 제거할 수 있는가?
• RQ2 산업 규모의 C 프로그램에 대해 오염되는 목적의 탐지를 확장하면서도 정확성을 유지할 수 있는가?
• RQ3 이 방법은 결함 탐지에 대한 의미적 관련성을 유지하면서도 테스트 목적의 수를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 오염되는 목적의 제거가 커버리지 메트릭스의 정확성에 얼마나 기여하는가?
• RQ5 이 기법은 조건 및 변종 커버리지 이외의 다양한 기준을 지원하는 데 일반화될 수 있는가?

주요 결과

• LClean은 실제 C 프로그램에서 최대 27%의 테스트 목적을 성공적으로 제거하여 중복되거나 비가능한 테스트 대상에 대한 부담을 크게 줄였다.
• 이 방법은 정확하다: 비가능하거나 관련 있는 테스트 목적을 잘못 제거하지 않으며, 동적 분석에서 흔히 발생하는 거짓 긍정을 방지한다.
• 도구는 최대 200,000 줄의 코드를 처리할 수 있어 산업 현장에서의 실용적 적용 가능성을 입증했다.
• 오염되는 목적을 제거함으로써 LClean은 커버리지 기반 메트릭스의 신뢰성을 향상시켜 테스트 세트 강도 측정의 과대 또는 과소 조정을 방지한다.
• 이전 연구 대비 모든 세 가지 유형의 오염되는 목적—비효율적, 중복, 포함—을 하나의 형식적 프레임워크 안에서 통합적으로 다루며 뛰어난 성능을 발휘한다.
• 실험 결과, LClean은 테스터가 고가치 목적에 집중할 수 있도록 하여 테스트 세트 품질과 결함 탐지 잠재력 평가의 정확성을 높이는 데 기여함을 확인했다.