[논문 리뷰] Constrained locating arrays for combinatorial interaction testing

Hao Jin, Tatsuhiro Tsuchiya|arXiv (Cornell University)|2017. 12. 06.

Software Testing and Debugging Techniques참고 문헌 36인용 수 10

한 줄 요약

이 논문은 소프트웨어 시스템의 실제 세계적 파rameter 제약 조건을 처리할 수 있도록 로케이팅 어레이를 확장한 새로운 조합 테스팅 모델인 제약 조건이 있는 로케이팅 어레이(Constrained Locating Arrays, CLAs)를 소개한다. 제약 조건 인식 구분 가능성과 구축 알고리즘을 통합함으로써, 제약 조건이 있는 시스템에서 효율적인 결함 로컬라이제이션을 가능하게 하며, 실험 결과 실용적인 문제 크기까지 확장 가능함을 보여준다.

ABSTRACT

This paper introduces the notion of Constrained Locating Arrays (CLAs), mathematical objects which can be used for fault localization in software testing. CLAs extend ordinary locating arrays to make them applicable to testing of systems that have constraints on test parameters. Such constraints are common in real-world systems; thus CLA enhances the applicability of locating arrays to practical testing problems. The paper also proposes an algorithm for constructing CLAs. Experimental results show that the proposed algorithm scales to problems of practical sizes.

연구 동기 및 목표

• 기존의 로케이팅 어레이 기법이 소프트웨어 테스팅에서 실제 세계의 파라미터 제약 조건을 다루지 못하는 데에 있는 격차를 메우기 위해.
• 일부 실패 유발 상호작용이 제약 조건 제한으로 인해 본질적으로 구분 불가능해질 수 있는 상황에서 제약 조건 하에서의 구분 가능성 개념을 체계화하기 위해.
• 제약 조건을 만족시키면서도 실패 유발 상호작용을 로컬라이징할 수 있는 실용적인 알고리즘을 개발하기 위해.
• 제안된 CLA 구축 방법이 실제 세계와 합성 테스트 문제에 대해 확장성과 효과성을 보여주기 위해.

제안 방법

• 테스트 대상 시스템(System Under Test, SUT)을 ⟨F, S, φ⟩의 튜플로 정의한다. 여기서 F는 요소들의 집합, S는 그들의 값 도메인, φ는 유효한 테스트 조합을 제약하는 제약 함수이다.
• 유효한 상호작용과 유효하지 않은 상호작용을 도입한다: 어떤 상호작용이 최소한 하나의 유효한 테스트(φ를 만족)에 나타나면 유효하다. 그렇지 않으면 유효하지 않다.
• 제약 조건 하에서도 주어진 강도 t까지의 임의의 두 유효한 상호작용 간의 구분 가능성을 보장하는 테스트 세트로서 제약 조건이 있는 로케이팅 어레이(Constrained Locating Arrays, CLAs)를 체계화한다.
• 제약 조건 인식 구분 가능성 검사를 통합한 커버링 어레이 구축 기법을 확장하여 CLAs를 생성하는 계산 방법을 제안한다.
• 임의의 두 구분 가능한 상호작용에 대해 그들의 커버리지 패턴이 배열에서 다름을 보장함으로써 점진적으로 CLAs를 구축하는 재귀적 구축 전략을 사용한다.
• 만약 t-방향 상호작용이 유효하고, 그 (t-1)-방향 부분 상호작용도 유효하다면, 제약 조건 인식 테스트 선택을 통해 그들의 구분 가능성이 유지될 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 파라미터 제약 조건으로 유효한 테스트 조합이 제한되는 시스템을 다룰 수 있도록 로케이팅 어레이를 확장할 수 있는가?
• RQ2 제약 조건이 존재하는 상황에서 두 실패 유발 상호작용이 여전히 구분 가능하도록 보장하는 형식적 조건은 무엇인가?
• RQ3 제약 조건을 준수하면서도 결함 로컬라이제이션 능력을 유지할 수 있는 확장 가능한 알고리즘을 설계할 수 있는가?
• RQ4 제안된 CLA 구축 방법이 복잡한 제약 조건을 가진 실용적인 크기의 소프트웨어 시스템에 얼마나 잘 확장되는가?

주요 결과

• 제안된 CLA 모델은 제약 조건 하에서의 구분 가능성 개념을 체계적으로 정의함으로써, 일부 상호작용이 본질적으로 구분 불가능할 수 있는 상황에서도 결함 로컬라이제이션을 가능하게 하여, 제약 조건이 있는 시스템으로 로케이팅 어레이를 성공적으로 확장한다.
• CLAs를 생성하는 알고리즘은 정당성이 입증되었다: 이는 강도 t까지의 임의의 두 유효한 상호작용을 구분할 수 있는 배열을 생성함으로써, 결함 로컬라이제이션 능력을 보장한다.
• 실험 결과에 따르면, 합성 및 실제 세계 테스트 케이스를 대상으로 실용적인 문제 크기까지 효과적으로 확장됨을 입증하였다. 특히 다섯 개의 요소와 복잡한 요소 간 제약 조건을 가진 고전적인 휴대전화 예제를 포함한다.
• 구축 과정은 CLA 내 모든 테스트 케이스가 유효함(제약 조건을 만족)을 보장하며, 모든 유효한 t-방향 상호작용이 커버됨을 유지함으로써 커버링 어레이의 핵심 성질을 유지한다.
• 이론적 분석을 통해 두 상호작용이 구분 가능하다면, 그들의 CLA 내 커버리지 패턴은 반드시 다를 것이며, 이는 실패 유발 상호작용이 유일하게 식별될 수 있음을 보장한다.
• 테스트 세트 크기를 최소화하면서도 제약 조건 처리 및 결함 로컬라이제이션에 대한 강건성을 추가함으로써, 조합 테스팅의 효율성을 유지한다.