[논문 리뷰] Automatic Software Diversity in the Light of Test Suites

Benoît Baudry, Simon Allier외 2명|arXiv (Cornell University)|2015. 09. 01.

Software Testing and Debugging Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 테스트 셋 통과 비율을 유지하면서 문장을 수정함으로써 프로그램 변형을 생성하는 '소시피케이션(sosiefication)' 기법을 통해 자동 소프트웨어 다각화를 조사한다. 두 가지 핵심 차원을 드러낸다: (1) 테스트 셋 커버리지 강도가 높을수록 변형 생성 난이도가 증가하지만, 고도로 테스트된 코드에서도 변형 생성이 가능함을 확인한다; (2) 특히 해싱 함수에서 다수의 타당한 구현 방식이 공존하는 '유연한 명세(plastic specifications)'가 존재하여 강력한 다각화가 가능함을 규명한다.

ABSTRACT

A few works address the challenge of automating software diversification, and they all share one core idea: using automated test suites to drive diversification. However, there is is lack of solid understanding of how test suites, programs and transformations interact one with another in this process. We explore this intricate interplay in the context of a specific diversification technique called "sosiefication". Sosiefication generates sosie programs, i.e., variants of a program in which some statements are deleted, added or replaced but still pass the test suite of the original program. Our investigation of the influence of test suites on sosiefication exploits the following observation: test suites cover the different regions of programs in very unequal ways. Hence, we hypothesize that sosie synthesis has different performances on a statement that is covered by one hundred test case and on a statement that is covered by a single test case. We synthesize 24583 sosies on 6 popular open-source Java programs. Our results show that there are two dimensions for diversification. The first one lies in the specification: the more test cases cover a statement, the more difficult it is to synthesize sosies. Yet, to our surprise, we are also able to synthesize sosies on highly tested statements (up to 600 test cases), which indicates an intrinsic property of the programs we study. The second dimension is in the code: we manually explore dozens of sosies and characterize new types of forgiving code regions that are prone to diversification.

연구 동기 및 목표

• 테스트 셋이 자동 소프트웨어 다각화의 효율성과 가능성에 미치는 영향을 이해하는 것.
• 프로그램 구조, 테스트 셋 커버리지, 코드 변환 간의 상호작용이 유효한 프로그램 변형 생성에 어떻게 작용하는지 조사하는 것.
• 높은 영향력을 가진 다각화를 가능하게 하는 관용적인 코드 영역과 유연한 명세를 식별하고 특성화하는 것.
• 실제 소프트웨어 시스템의 내재된 유연성에 대한 경험적이고 정성적인 통찰을 제공하는 것.

제안 방법

• 완전한 JUnit 테스트 셋을 갖춘 여섯 개의 오픈소스 자바 프로그램에 소시피케이션을 적용하여 총 24,583개의 프로그램 변형(sosies)을 생성하였다.
• 실행 서명(실행 서명)을 문장 수준에서 계산하여 명세 커버리지의 대체 지표로 활용—각 문장이 실행된 테스트 케이스 수로 정의함.
• 실행 서명 값과 소시피케이션 성공률 간의 정량적 분석을 통해 다양한 문장에서의 상관관계를 분석함.
• 수십 개의 sosies를 수작업으로 검토하여 관용적인 코드 영역를 분류하고, 유연성의 패턴을 식별함.
• 다양한 수준의 테스트 커버리지에서 소시피케이션 결과를 비교하여 변형 생성을 가능하게 하는 구조적 및 명세 수준의 요인을 규명함.
• 연구 결과를 장애 내성, 내구성, 진화 가능한 시스템과 같은 광범위한 소프트웨어 공학 주제에 배경을 두고 정리함.

실험 결과

연구 질문

• RQ1 한 문장이 커버하는 테스트 케이스 수가 유효한 sosie 변형 생성 난이도에 어떻게 영향을 미치는가?
• RQ2 어떤 유형의 코드 영역이 테스트 셋을 통과하면서도 다각화에 가장 적합한가?
• RQ3 매우 높은 테스트 커버리지(예: 600개의 테스트 케이스)를 가진 문장에 대해 프로그램 변형을 얼마나 생성할 수 있는가?
• RQ4 강력한 테스트 커버리지가 존재하는 상황에서도 높은 영향력을 가진 다각화를 가능하게 하는 구조적 또는 명세 수준의 특성은 무엇인가?
• RQ5 특정 코드 영역이 수정에 대해 본질적으로 더 관용적인가를 결정하는 내재된 프로그램 특성—예를 들어 '유연한 명세'—이 존재하는가?

주요 결과

• 소시피케이션 성공률은 문장당 테스트 셋 커버리지가 증가할수록 감소하며, 이는 잘 테스트된 코드 영역에서 변형 생성이 더 어려운 것을 시사한다.
• 최대 600개의 테스트 케이스를 가진 고도로 테스트된 코드 영역에서도 유효한 sosie 변형이 성공적으로 생성되었으며, 이는 실제 소프트웨어 시스템 내에서 내재된 유연성(유연성)이 있음을 보여준다.
• 해싱 함수에서 특히 두각을 나타내는 새로운 '유연한 명세' 카테고리가 규명되었는데, 이는 개방적이지만 강력한 정확성 계약이 존재해 다수의 타당한 구현 방식이 공존하기 때문이다.
• 수작업 분석을 통해 전통적인 관용적 구조(예: 최적화 코드, 비디오 코덱 등)와 직접적인 관련이 없는 관용적인 코드 영역가 존재함을 확인함.
• 코드 추가 및 삭제가 다양한 유효한 변형 생성에 효과적임을 확인하였으며, 이는 운영체제 보호 및 장애 무시 컴퓨팅 응용 분야를 뒷받침한다.
• 유연한 명세를 가진 관용적인 영역의 존재는 다각화가 특정 코드 패tern에 국한되지 않고, 더 깊은 명세 수준의 특성에서 유래된다는 점을 시사한다.