[논문 리뷰] A survey on test practitioners' awareness of test smells

Nildo Silva, Larissa Rocha외 2명|arXiv (Cornell University)|2020. 03. 12.

Software Engineering Research참고 문헌 18인용 수 14

한 줄 요약

이 연구는 브라질 기업 소속 60명의 테스트 전문가를 대상으로 한 설문 조사로, 테스트 전문가들이 의도하지 않게 테스트 냄새를 도입하는 방식을 조사한다. 경험 많은 개발자들이 표준화된 절차를 따르더라도 여전히 악성 패턴을 사용하여 테스트 냄새를 유발하는 것으로 드러났으며, 전문 경력이 냄새 도입 빈도를 유의미하게 줄이지 못함을 확인하였다.

ABSTRACT

Developing test code may be a time-consuming task that usually requires much effort and cost, especially when it is done manually. Besides, during this process, developers and testers are likely to adopt bad design choices, which may lead to the introduction of the so-called test smells in test code. Test smells are bad solutions to either implement or design test code. As the test code with test smells increases in size, these tests might become more complex, and as a consequence, much harder to understand and evolve correctly. Therefore, test smells may have a negative impact on the quality and maintenance of test code and may also harm the whole software testing activities. In this context, this study aims to understand whether test professionals non-intentionally insert test smells. We carried out an expert survey to analyze the usage frequency of a set of test smells. Sixty professionals from different companies participated in the survey. We selected 14 widely studied smells from the literature, which are also implemented in existing test smell detection tools. The yielded results indicate that experienced professionals introduce test smells during their daily programming tasks, even when they are using standardized practices from their companies, and not only for their personal assumptions. Another relevant evidence was that developers' professional experience can not be considered as a root-cause for the insertion of test smells in test code.

연구 동기 및 목표

• 테스트 개발 과정에서 테스트 전문가들이 의도하지 않게 테스트 냄새를 도입하는지 이해하기 위해
• 전문 경력이 테스트 냄새 도입 가능성에 영향을 미치는지 검토하기 위해
• 실제 테스트 워크플로우에서 테스트 냄새 유발로 이어지는 일반적인 개발 관행을 특정하기 위해
• 업계 전문가들 사이에서 특정 테스트 냄새 관련 관행의 빈도와 보편성을 평가하기 위해
• 개인의 전문성 외의 근본 원인을 규명하여 테스트 품질 향상에 기여하기 위해

제안 방법

• 브라질의 다양한 기업 소속 60명의 테스트 전문가를 대상으로 전문가 설문 조사를 실시하였다.
• 문헌에서 널리 연구된 14개의 테스트 냄새를 선정하였으며, 이는 일반적으로 테스트 냄새 탐지 도구에 구현된 바 있다.
• 편향을 방지하고 이해를 향상시키기 위해 설문에서 테스트 냄새를 개발 관행으로 제시하였다.
• 질문의 명확성 향상을 위해 4명의 테스터를 대상으로 피LOT 설문 조사를 실시하여 질문을 보완하였다.
• 개방형 응답에 대해 동료 검토를 적용하여 구성 타당성을 확보하였다.
• 설문지를 포르투갈어에서 영어로 번역하고, 모든 저자가 검토하여 일관성을 유지하였다.

실험 결과

연구 질문

• RQ1 RQ1: 전문가들이 테스트 케이스 설계 관행을 통해 테스트 냄새 도입 가능성을 유발하는가?
• RQ2 RQ2: 전문 경력이 테스트 냄새 도입에 영향을 미치는가?
• RQ3 RQ3: 전문가들의 일상적인 활동에서 테스트 냄새 도입을 유도하는 관행은 무엇인가?
• RQ4 RQ4: 특정 테스트 냄새가 표준화되거나 습관화된 개발 관행과 더 자주 연관되는가?

주요 결과

• 경력이 많은 전문가들이 표준화된 절차를 따르더라도 빈번히 테스트 냄새를 도입한다.
• 전문 경력이 테스트 냄새 도입 빈도를 유의미하게 줄이지 못하며, 이는 전문성이 악성 관행을 제거한다는 가정을 뒤집는다.
• 선택된 14개의 모든 테스트 냄새가 적어도 일부 전문가에 의해 사용된 것으로 보고되어, 문제적 패턴에 대한 광범위한 인식과 수용이 있음을 시사한다.
• 테스트 냄새의 주요 원인은 개인의 가정이 아니라 습관적인 코딩 관행과 조직 표준 준수로 규명되었다.
• '잘못 작성된 테스트', '테스트 내 조건부 논리', '일반화된 테스트 데이터'와 같은 테스트 냄새가 빈번히 공통된 관행으로 언급되었다.
• 경력 수준과 냄새 도입 빈도 사이에 유의미한 상관관계가 없음을 발견하여, 경험 외에 교육 또는 도구 지원이 필요할 수 있음을 시사한다.