[논문 리뷰] Testing Quality Requirements of a System-of-Systems in the Public Sector - Challenges and Potential Remedies

Jacob Larsson, Markus Borg외 1명|arXiv (Cornell University)|2016. 02. 17.

Advanced Software Engineering Methodologies참고 문헌 32인용 수 6

한 줄 요약

이 논문은 스웨덴의 대규모 공공부문 시스템오브시스템에서 품질 요구사항 테스팅의 과제를 조사하며, 요구사항 공학 부족과 분리된 테스트 관리와 같은 문제를 밝혀내었다. 이를 바탕으로 이중피크 모델, QUPER, 아키텍처적으로 중요한 요구사항과 같은 기존 문헌에서 제안한 해결책을 제안하여 복잡한 다수의 이해관계자가 참여하는 소프트웨어 프로젝트에서 품질 보증을 향상시키는 통합적 접근의 가능성을 입증한다.

ABSTRACT

Quality requirements is a difficult concept in software projects, and testing software qualities is a well-known challenge. Without proper management of quality requirements, there is an increased risk that the software product under development will not meet the expectations of its future users. In this paper, we share experiences from testing quality requirements when developing a large system-of-systems in the public sector in Sweden. We complement the experience reporting by analyzing documents from the case under study. As a final step, we match the identified challenges with solution proposals from the literature. We report five main challenges covering inadequate requirements engineering and disconnected test managers. Finally, we match the challenges to solutions proposed in the scientific literature, including integrated requirements engineering, the twin peaks model, virtual plumblines, the QUPER model, and architecturally significant requirements. Our experiences are valuable to other large development projects struggling with testing of quality requirements. Furthermore, the report could be used by as input to process improvement activities in the case under study.

연구 동기 및 목표

• 스웨덴의 대규모 공공부문 시스템오브시스템 프로젝트 내에서 품질 요구사항 테스팅의 과제를 특정하고 분석하는 것.
• 조직적 및 프로세스적 격차—예를 들어 열악한 요구사항 공학과 분산된 테스트 관리—로 인한 품질 요구사항 실패의 근본 원인을 분석하는 것.
• 복잡한 시스템에서 품질 보증을 향상시키기 위해 실무 과제를 소프트웨어 공학 문헌에서 입증된 해결책과 연결하는 것.
• 실행 가능한 연구 기반 권고사항을 통해 대규모 공공 소프트웨어 개발 프로젝트의 프로세스 개선 이니셔티브를 지원하는 것.
• 특히 규제가 있는 공공부문 환경에서 시스템오브시스템의 품질 요구사항 테스팅에 관한 지식 기여를 하는 것.

제안 방법

• 스웨덴의 실제 공공부문 시스템오브시스템 프로젝트를 대상으로 사례 연구 분석을 수행하여 품질 요구사항 테스팅에 집중한다.
• 프로젝트 라이프사이클의 문서 분석을 통해 현장 관찰을 보완하여 체계적 문제를 규명한다.
• 과학 문헌에서 제안한 솔루션 프레임워크—이중피크 모델, QUPER 등—에 기반해 식별된 과제를 매핑한다.
• 아키텍처적으로 중요한 요구사항과 가상의 수직선(가상 플럼블라인)이 품질 테스팅 격차를 해소하는 데 어떻게 기여할 수 있는지 평가한다.
• 통합된 요구사항 공학 접근법을 통해 분산된 개발 팀 간의 품질 목표를 일치시킨다.
• 발견사항을 통합된 프레임워크로 정리하여 유사 프로젝트에 구현 가능한 과제와 근거 기반의 해결책을 연결한다.

실험 결과

연구 질문

• RQ1 대규모 공공부문 시스템오브시스템 내에서 품질 요구사항 테스팅의 주요 과제는 무엇인가?
• RQ2 조직적 및 프로세스적 격차—예를 들어 분리된 테스트 관리와 약한 요구사항 공학—는 품질 보증에 어떻게 영향을 미치는가?
• RQ3 문헌에서 제안한 모델 및 프레임워크 중에서 식별된 품질 요구사항 테스팅 과제를 효과적으로 해결할 수 있는 것은 무엇인가?
• RQ4 이중피크 모델이나 QUPER와 같은 통합적 접근 방식이 복잡한 시스템에서 품질 테스팅 결과를 얼마나 향상시킬 수 있는가?
• RQ5 발견사항은 대규모 공공 소프트웨어 개발 프로젝트의 프로세스 개선을 지원하는 데 어떻게 활용될 수 있는가?

주요 결과

• 이 연구는 품질 요구사항 테스팅에서 다섯 가지 주요 과제를 특정하였으며, 요구사항 공학 부족과 분산된 테스트 관리가 포함되어 있다.
• 테스트 관리자가 분리되어 있고 품질 목표와 시스템 아키텍처 간의 일치가 부족하여 테스팅 결과가 일관되지 않았다.
• 이중피크 모델은 요구사항과 설계 활동 간의 일치를 도모하여 사양 격차를 줄이는 데 효과적이었다.
• QUPER 모델은 품질 요구사항을 식별하고 테스트하는 데 체계적인 접근을 제공하여 추적성과 커버리지 향상을 이뤘다.
• 가상 플럼블라인은 분산된 구성 요소에서의 품질 문제를 조기에 탐지할 수 있도록 종단 간 시스템 동작을 시뮬레이션하는 데 기여했다.
• 아키텍처적으로 중요한 요구사항은 전체 시스템 품질과 비기능적 특성에 영향을 미치는 구성 요소에 테스팅 활동을 집중시키는 데 핵심적인 역할을 했다.