[논문 리뷰] DSpot: Test Amplification for Automatic Assessment of Computational Diversity

Benoît Baudry, Simon Allier외 2명|arXiv (Cornell University)|2015. 03. 19.

Software Engineering Research참고 문헌 27인용 수 5

한 줄 요약

DSpot는 테스트 케이스를 변형하여 입력 및 관찰 공간을 확장함으로써 소프트웨어 버전 간의 계산적 다양성을 자동으로 탐지하는 테스트 확장 프레임워크이다. 입력 및 액서트션 변환을 통해 테스트 셋을 확장하여 472개의 다양한 자바 버전을 100%로 탐지하고, TDR와 같은 기준 기법보다 우수한 성능을 발휘한다.

ABSTRACT

Context: Computational diversity, i.e., the presence of a set of programs that all perform compatible services but that exhibit behavioral differences under certain conditions, is essential for fault tolerance and security. Objective: We aim at proposing an approach for automatically assessing the presence of computational diversity. In this work, computationally diverse variants are defined as (i) sharing the same API, (ii) behaving the same according to an input-output based specification (a test-suite) and (iii) exhibiting observable differences when they run outside the specified input space. Method: Our technique relies on test amplification. We propose source code transformations on test cases to explore the input domain and systematically sense the observation domain. We quantify computational diversity as the dissimilarity between observations on inputs that are outside the specified domain. Results: We run our experiments on 472 variants of 7 classes from open-source, large and thoroughly tested Java classes. Our test amplification multiplies by ten the number of input points in the test suite and is effective at detecting software diversity. Conclusion: The key insights of this study are: the systematic exploration of the observable output space of a class provides new insights about its degree of encapsulation; the behavioral diversity that we observe originates from areas of the code that are characterized by their flexibility (caching, checking, formatting, etc.).

연구 동기 및 목표

• 동일한 API를 공유하고 동일한 테스트 셋을 통과하는 프로그램 버전 간의 계산적 다양성을 자동으로 평가하는 것.
• 대규모 실세계 자바 애플리케이션에서 지정된 입력 도메인 외부의 행동 차이를 탐지하는 데 도전하는 것.
• 입력 및 관찰 공간을 체계적으로 탐색함으로써 기존의 테스트 확장 기법을 향상시키는 것.
• 7개의 오픈소스 자바 클래스의 472개 버전에서 다양성을 탐지하는 데 있어 테스트 확장의 효과성을 검증하는 것.
• 런타임 유연성(예: 캐싱 및 포맷팅)으로 인해 발생하는 자연스러운 계산적 다양성에 대한 통찰을 제공하는 것.

제안 방법

• 정수, 불리언, 및 문자열 리터럴을 수정하여 새로운 입력 영역을 탐색할 수 있도록 테스트 케이스를 자동으로 변형한다.
• 관찰 영역을 확장하기 위해 액서트션을 변형하여 공개 API를 통해 볼 수 있는 프로그램 상태 변화를 포착한다.
• 소스 코드 변환을 적용하여 더 많은 실행 트레이스를 커버하는 확장된 테스트 셋을 생성한다.
• 모든 프로그램 버전에서 확장된 테스트 셋을 실행하여 출력 또는 상태의 행동 차이를 탐지한다.
• 입력 변형과 관찰 포인트 삽입을 조합하여 미세한 행동 차이에 민감한 테스트 셋을 만든다.
• 두 단계 방식을 사용한다: 테스트 확장 → 다중 버전 간 비교를 통한 다양성 식별

실험 결과

연구 질문

• RQ1 테스트 확장은 실세계 자바 프로그램에서 높은 정확도로 계산적 다양성을 효과적으로 드러낼 수 있는가?
• RQ2 DSpot의 입력 및 관찰 공간 탐색 방식은 TDR와 같은 기존의 테스트 확장 기법과 비교해 행동 차이 탐지에 있어 어떤가?
• RQ3 어떤 종류의 코드 영역이 구현의 유연성으로 인해 자연스럽게 계산적 다양성을 보일 가능성이 높은가?
• RQ4 테스트 확장은 원래의 테스트 셋에 비해 다양성 탐지 능력을 얼마나 향상시키는가?
• RQ5 런타임 비결정성(예: 난수 생성 또는 스레드 스케줄링)은 버전 간 관찰 가능한 행동 차이의 발생에 어떤 역할을 하는가?

주요 결과

• DSpot는 7개의 대규모 오픈소스 자바 애플리케이션에서 수작업으로 확인된 472개의 계산적 다양성 버전을 100%로 탐지했다.
• DSpot가 생성한 확장된 테스트 셋은 유우와 하르만의 기준 기법인 TDR보다 두 배 이상 많은 다양성 버전을 탐지했다.
• 테스트 확장은 테스트 셋 내 입력 포인트 수를 10배로 증가시켜 입력 영역의 더 넓은 커버리지가 가능해졌다.
• 관찰 가능한 다양성의 주요 원천은 캐싱, 입력 검사, 포맷팅 로직과 같은 유연한 코드 영역이었다.
• 연구에서 랜덤 수 생성 또는 스레드 스케줄링과 같은 자연스러운 런타임 비결정성이 관찰 가능한 행동 차이에 기여하는 것으로 밝혀졌다.
• 원래의 테스트 셋으로는 탐지되지 않았지만, 이는 버전들이 동일한 사양을 통과하더라도 프로그램 행동의 차이를 성공적으로 드러냈다.