[논문 리뷰] Suggestions on Test Suite Improvements with Automatic Infection and Propagation Analysis

Oscar Luis Vera-Pérez, Benjamin Danglot외 2명|arXiv (Cornell University)|2019. 09. 10.

Software Testing and Debugging Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 Java 프로그램에서 테스트 실행 중 상태 변화의 전파를 분석함으로써 자동으로 감지되지 않은 극단적 코드 변환을 진단하는 도구 Reneri를 제안한다. 이 도구는 부족한 테스트 입력, 감염 전파 실패, 또는 약한 오라클 등 근본 원인을 식별하고, 개선 가능한 테스트 셋을 향한 자연어 기반 조언을 생성한다. 전체 312개의 감지되지 않은 변환 중 63%는 관측 가능성 문제로 인한 것이며, 개발자 피드백을 통해 조언의 관련성이 확인되었다.

ABSTRACT

An extreme transformation removes the body of a method that is reached by one test case at least. If the test suite passes on the original program and still passes after the extreme transformation, the transformation is said to be undetected, and the test suite needs to be improved. In this work we propose a technique to automatically determine which of the following three reasons prevent the detection of the extreme transformation is : the test inputs are not sufficient to infect the state of the program; the infection does not propagate to the test cases; the test cases have a weak oracle that does not observe the infection. We have developed Reneri, a tool that observes the program under test and the test suite in order to determine runtime differences between test runs on the original and the transformed method. The observations gathered during the analysis are processed by Reneri to suggest possible improvements to the developers. We evaluate Reneri on 15 projects and a total of 312 undetected extreme transformations. The tool is able to generate a suggestion for each each undetected transformation. For 63% of the cases, the existing test cases can infect the program state, meaning that undetected transformations are mostly due to observability and weak oracle issues. Interviews with developers confirm the relevance of the suggested improvements and experiments with state of the art automatic test generation tools indicate that no tool can improve the existing test suites to fix all undetected transformations.

연구 동기 및 목표

• 테스트 셋이 메서드 본문을 제거하는 극단적 코드 변환을 감지하지 못하는 이유를 규명하는 데 도움을 주기 위해.
• 테스트 실행 중 프로그램 상태의 동적 분석을 통해 감지되지 않은 변환의 근본 원인을 자동으로 진단하기 위해.
• 개발자가 이해할 수 있고 실행 가능한 조언을 생성하여 테스트 입력, 단언문 또는 테스트 케이스를 향상시키는 데 도움을 주기 위해.
• 개발자 인터뷰와 최신 테스트 생성 도구와의 비교를 통해 Reneri의 조언 효과성을 평가하기 위해.
• 재현 가능성을 보장하고 향후 테스트 셋 개선 연구를 지원하기 위해 오픈소스 도구와 실증 데이터를 제공하기 위해.

제안 방법

• 테스트 대상 프로그램과 그 테스트 셋을 인STRUMENT하여 원본 코드와 극단적 변환된 코드 실행 간의 런타임 상태 차이를 수집한다.
• 감지되지 않은 변환을 세 가지 근본 원인으로 분류하기 위해 도달 가능성-감염-전파(RIP) 모델 기반의 동적 분석을 적용한다: 감염 없음(no-infection), 전파 없음(no-propagation), 약한 오라클(weak-oracle).
• 테스트 실행 간의 프로그램 상태 관측치를 비교하여 감지되지 않은 변경을 나타내는 차이를 탐지한다.
• 개발자에게 자연어로 작성된 조언을 생성하며, 예를 들어 새로운 테스트 입력 추가, 단언문 삽입, 또는 새로운 테스트 케이스 생성 등을 포함한다.
• 15개의 오픈소스 Java 프로젝트를 대상으로 312개의 감지되지 않은 극단적 변환을 사용해 분석을 평가한다.
• 완전 자동화된 테스트 셋 복구의 가능성을 평가하기 위해 Evosuite 및 DSpot 기반의 두 가지 자동 전략을 평가한다.

실험 결과

연구 질문

• RQ1 테스트 셋이 극단적 코드 변환을 감지하지 못하게 하는 주요 근본 원인은 무엇인가?
• RQ2 Reneri가 자동으로 생성한 조언이 개발자가 감지되지 않은 변환을 수정하도록 얼마나 효과적으로 이끌 수 있는가?
• RQ3 최신 테스트 생성 도구들은 Reneri가 진단한 감지되지 않은 극단적 변환을 동일하게 감지할 수 있는가?
• RQ4 실제 프로젝트에서 세 가지 근본 원인—감염 없음, 전파 없음, 약한 오라클—은 어떻게 분포되어 있는가?
• RQ5 자동화된 테스트 생성 전략이 얼마나 효과적으로 이전에 감지되지 않은 극단적 변환을 감지하도록 테스트 셋을 향상시킬 수 있는가?

주요 결과

• 312개의 감지되지 않은 극단적 변환 중 37%는 부족한 테스트 입력(감염 없음)으로 인한 것이며, 37%는 감염 전파 실패(전파 없음)로 인한 것이고, 27%는 감염 관측 실패(약한 오라클)로 인한 것이다.
• 감지되지 않은 변환의 63%는 관측 가능성 문제로 인한 것으로 나타나, 테스트 셋 개선 전략은 단언문 강화와 입력 다양성 향상을 우선시해야 한다.
• 개발자 인터뷰 결과, Reneri의 조언은 대부분의 경우 유용했으며, 많은 경우 정확한 해결책을 제공했다.
• DSpot 기반 테스트 개선 전략이 Evosuite 기반 생성 전략보다 뛰어나, 감지되지 않은 변환의 비율을 적합도 함수로 사용하여 이전에 감지되지 않은 변환의 77%를 감지했다.
• 기존의 테스트 생성 도구는 모든 감지되지 않은 변환을 수정하지 못했으며, 이는 진단 기반의 타겟된 테스트 셋 개선이 필요함을 시사한다.
• Reneri는 오픈소스이며, 오픈 데이터를 제공하여 재현 가능성을 확보하고 향후 테스트 셋 향상 연구를 지원한다.