[논문 리뷰] Empirical Analysis of Factors and their Effect on Test Flakiness - Practitioners' Perceptions

Azeem Ahmad, Ola Leifler외 1명|arXiv (Cornell University)|2019. 06. 03.

Software Engineering Research참고 문헌 44인용 수 9

한 줄 요약

이 연구는 네 개의 스칸디나비아 산업에서 다중 사례 연구를 통해 현장 전문가들이 테스트의 불안정성(플래키니스)을 어떻게 인식하는지 조사하며, 테스트 품질, 소프트웨어 품질, 실제 플래키 테스트, 기업 특화 요인으로 분류된 23개의 영향 요인을 규명한다. 주요 기여는 전문가 경험을 반영한 플래키니스 요인 프레임워크로, 참가자 간 86%의 일치도를 보이며, 반응형 탐지보다는 예방 가이드라인 수립의 필요성을 강조한다.

ABSTRACT

Developers always wish to ensure that their latest changes to the code base do not break existing functionality. If test cases fail, they expect these failures to be connected to the submitted changes. Unfortunately, a flaky test can be the reason for a test failure. Developers spend time to relate possible test failures to the submitted changes only to find out that the cause for these failures is test flakiness. The dilemma of an identification of the real failures or flaky test failures affects developers' perceptions about what is test flakiness. Prior research on test flakiness has been limited to test smells and tools to detect test flakiness. In this paper, we have conducted a multiple case study with four different industries in Scandinavia to understand practitioners' perceptions about test flakiness and how this varies between industries. We observed that there are little differences in how the practitioners perceive test flakiness. We identified 23 factors that are perceived to affect test flakiness. These perceived factors are categorized as 1) Software test quality, 2) Software Quality, 3) Actual Flaky test and 4) Company-specific factors. We have studied the nature of effects such as whether factors increase, decrease or affect the ability to detect test flakiness. We validated our findings with different participants of the 4 companies to avoid biases. The average agreement rate of the identified factors and their effects are 86% and 86% respectively, among participants.

연구 동기 및 목표

• 실제 산업 환경에서 전문가들이 테스트의 불안정성(플래키니스)을 어떻게 인식하는지 이해하기.
• 테스트 냄새 이외의 요인들—즉, 플래키니스의 발생 또는 탐지에 영향을 주는 것으로 전문가들이 인식하는 요인들을 특정하기.
• 편향을 줄이고 일반화 가능성을 높이기 위해 여러 기업에서 연구 결과를 검증하기.
• 산업 간 플래키니스에 대한 인식의 차이가 테스트 품질 관행에 어떻게 영향을 주는지 탐색하기.
• 전문가 경험을 바탕으로 소프트웨어 테스팅에서 예방 전략을 수립하기 위한 기초 마련하기.

제안 방법

• 다양한 산업 분야에 속한 네 개의 스칸디나비아 기업에서 다중 사례 연구를 수행하였다.
• 온라인 설문조사, 대면 워크숍, 현장 방문을 통해 전문가들의 인식을 수집하였다.
• 테스트 불안정성에 영향을 주는 23개의 요인을 소프트웨어 테스트 품질, 소프트웨어 품질, 실제 플래키 테스트, 기업 특화 요인의 네 영역으로 분류하였다.
• 편향을 줄이고 공감대를 확보하기 위해 다른 참가자들을 대상으로 별도의 워크숍을 통해 연구 결과를 검증하였다.
• 기존 문헌과의 대조를 통해 발견된 요인들이 알려진 테스팅 원칙과 일치하는지 검증하였다.
• 정성적 및 정량적 분석을 활용하여 참가자 간 일치율(요인에 대해 86%, 영향에 대해 86%)을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 산업의 전문가들은 테스트의 불안정성(플래키니스)을 어떻게 인식하는가?
• RQ2 테스트 냄새 이외의 요인들 중에서 전문가들이 플래키니스에 영향을 주는 것으로 보는 요인은 무엇인가?
• RQ3 이러한 요인들이 플래키 테스트의 발생 또는 탐지에 어떻게 영향을 주는가?
• RQ4 전문가들이 특정 요인들과 그 영향에 대해 어느 정도 일치하는가?
• RQ5 기업 특화된 관행은 플래키니스에 대한 인식을 어떻게 형성하는가?

주요 결과

• 테스트 불안정성에 영향을 주는 23개의 요인이 규명되었으며, 이는 소프트웨어 테스트 품질, 소프트웨어 품질, 실제 플래키 테스트, 기업 특화 요인의 네 영역으로 분류되었다.
• 참가자 간 특정 요인에 대한 평균 일치율은 86%였으며, 영향에 대해서도 86%로 높은 공감대를 보였다.
• 전문가들은 플래키 테스트를 단지 코드 냄새 때문이 아니라, 낮은 테스트 케이스 설계 수준, 환경의 변동성, 조직적 관행의 결과로 보고 있다.
• 예를 들어 '웹 컴포넌트 런타임 생성'과 같은 요소는 한 기업에선 매우 불안정한 것으로 인식되었지만 다른 기업에선 그렇지 않아, 맥락 기반의 인식 차이를 보였다.
• 연구 결과, 인식된 불안정성은 기술적 자산 외에도 근무 경험, 관찰된 실패 이력, 조직 문화에 의해 영향을 받는 것으로 나타났다.
• 전문가들은 플래키 테스트가 근본적으로 테스트 케이스 품질 문제이며, 사후 탐지보다는 설계 가이드라인을 통한 예방이 더 효과적이라고 강조하였다.