[논문 리뷰] Reframing the Test Pyramid for Digitally Transformed Organizations

Nicole Radziwill, Graham Freeman|arXiv (Cornell University)|2020. 11. 02.

Digital Platforms and Economics인용 수 4

한 줄 요약

이 논문은 디지털 전환된 조직을 위한 전통적인 테스트 피라미드를 재구성하여 데이터 품질과 파이프라인 무결성을 테스팅 전략에 통합함으로써, 코드를 초과하여 데이터와 모델 검증을 포함하는 통합적이고 다기능적인 테스팅 모델을 제안한다. 주요 기여는 소프트웨어, 데이터, 시스템 전반에 걸쳐 종단 간 품질 보증을 강조하는 재구상된 테스트 피라미드로, 조직이 품질 격차를 메우고 통합된 테스팅 관행을 통해 경쟁 우위를 확보할 수 있도록 한다.

ABSTRACT

The test pyramid is a conceptual model that describes how quality checks can be organized to ensure coverage of all components of a system, at all scales. Originally conceived to help aerospace engineers plan tests to determine how material changes impact system integrity, the concept was gradually introduced into software engineering. Today, the test pyramid is typically used to illustrate that the majority of tests should be performed at the lowest (unit test) level, with fewer integration tests, and even fewer acceptance tests (which are the most expensive to produce, and the slowest to execute). Although the value of acceptance tests and integration tests increasingly depends on the integrity of the underlying data, models, and pipelines, software development and data management organizations have traditionally been siloed and quality assurance practice is not as mature in data operations as it is for software. Companies that close this gap by developing cross-organizational systems will create new competitive advantage and differentiation. By taking a more holistic view of testing that crosses these boundaries, practitioners can help their organizations close the gap.

연구 동기 및 목표

• 디지털 전환된 조직에서 소프트웨어 개발과 데이터 운영 간의 품질 보증 격차가 점점 커지는 문제를 해결하기 위해.
• 수락 테스트와 통합 테스트가 데이터 무결성에 의해 결정되며, 이는 전통적인 테스팅 모델에서 자주 간과되는 바람직하지 않은 요소임을 인식하기 위해.
• 조직의 사일로 구조를 넘어 소프트웨어, 데이터, 시스템 수준의 테스팅을 통합하는 재구상된 테스트 피라미드를 제안하기 위해.
• 데이터 파이프라인과 모델을 테스팅의 핵심 대상으로 간주함으로써 조직이 더 높은 품질과 신뢰성을 달성하도록 지원하기 위해.
• 데이터 기반 디지털 기업에서 성숙한 다기관 품질 보증 관행을 발전시키기 위해.

제안 방법

• 기존의 단위 테스트, 통합 테스트, 수락 테스트 외에 데이터 및 모델 검증 레이어를 추가하여 고전적인 테스트 피라미드 개념을 확장한다.
• 데이터 파이프라인, 데이터 품질, 모델 동작을 테스팅 라이프사이클의 핵심 구성요소로 간주하는 통합 테스팅 프레임워크를 도입한다.
• 테스팅 전략이 데이터의 수집에서 소비에 이르기까지 종단 간 무결성을 고려해야 한다고 제안한다.
• 테스팅 관행을 전체 스택에 걸쳐 일치시키기 위해 소프트웨어 공학 팀과 데이터 관리 팀 간의 협업을 장려한다.
• 특히 통합 테스트와 수락 테스트에서 데이터 품질 검사를 전 수준에 통합할 것을 권고한다.
• 생산 시스템의 신뢰성을 확보하기 위해 데이터 및 모델 동작에 대한 자동화된 지속적 검증을 주장한다.

실험 결과

연구 질문

• RQ1 전통적인 소프트웨어 테스팅 모델은 디지털 전환된 조직에서 데이터 품질의 고유한 과제를 어떻게 적응시킬 수 있는가?
• RQ2 데이터 파이프라인의 무결성이 통합 테스트와 수락 테스트의 효과성에 어떤 역할을 하는가?
• RQ3 소프트웨어 개발과 데이터 운영 간의 사일로를 어떻게 해체하여 종단 간 시스템 품질을 향상시킬 수 있는가?
• RQ4 테스트 피라미드에서 데이터와 모델을 핵심 테스팅 대상으로 간주할 경우의 의미는 무엇인가?
• RQ5 다기관 테스팅 관행을 어떻게 정착시켜 디지털 시스템의 지속 가능한 품질을 확보할 수 있는가?

주요 결과

• 기존의 테스트 피라미드는 디지털 전환된 조직에게 부적합하며, 이는 시스템 신뢰성에 있어 데이터 및 모델 품질의 핵심적 역할을 과소평가하기 때문이다.
• 데이터 무결성은 통합 테스트와 수락 테스트의 타당성에 중대한 영향을 미치지만, 현재의 테스팅 전략에서 자주 간과된다.
• 소프트웨어와 데이터 테스팅 관행을 통합한 조직은 더 높은 시스템 품질과 더 빠른 피드백 사이클을 달성한다.
• 데이터 및 모델 검증 레이어를 포함한 재구상된 테스트 피라미드는 더 견고하고 신뢰할 수 있는 디지털 시스템을 만든다.
• 디지털 기업에서 성숙하고 확장 가능한 품질 보증을 위해 소프트웨어 팀과 데이터 팀 간의 협업이 필수적이다.
• 제안된 모델은 조직이 품질 격차를 메우고 종단 간 테스팅 커버리지로 경쟁 우위를 확보할 수 있도록 한다.