[논문 리뷰] Combining STPA and BDD for Safety Analysis and Verification in Agile Development: A Controlled Experiment

Yang Wang, Stefan Wagner|arXiv (Cornell University)|2018. 04. 05.

Software Engineering Techniques and Practices참고 문헌 30인용 수 3

한 줄 요약

이 논문은 안전 중심 시스템의 애자일 개발에서 행동 기반 개발(BDD)과 체계 이론적 프로세스 분석(STPA)을 통합하여 안전 검증을 수행하는 방법을 제안한다. 이 방법은 STPA에서 유도된 안전 요구사항을 BDD의 시나리오 기반 테스트('Given-When-Then')를 통해 검증하며, 기존의 사용자 수용 테스트(UAT)에 비해 커뮤니케이션 효과성에서 뚜렷한 향상을 보이며, 생산성, 테스트 철저성, 결함 탐지 능력 측면에선 유의미한 차이가 없음을 확인하였다.

ABSTRACT

Context: Agile development is in widespread use, even in safety-critical domains. Motivation: However, there is a lack of an ap- propriate safety analysis and verification method in agile development. Objective: In this paper, we investigate the use of Behavior Driven De- velopment (BDD) instead of standard User Acceptance Testing (UAT) for safety verification with System-Theoretic Process Analysis (STPA) for safety analysis in agile development. Method: We evaluate the effect of this combination in a controlled experiment with 44 students in terms of productivity, test thoroughness, fault detection effectiveness and com- munication effectiveness. Results: The results show that BDD is more effective for safety verification regarding the impact on communication effectiveness than standard UAT, whereas productivity, test thorough- ness and fault detection effectiveness show no statistically significant difference in our controlled experiment. Conclusion: The combination of BDD and STPA seems promising with an enhancement on communica- tion, but its impact needs more research.

연구 동기 및 목표

• 안전 중심 시스템(Safety-Critical Systems, SCS)의 애자일 개발에서 통합된 안전 분석 및 검증 방법의 부족을 해결한다.
• 애자일 환경에서 기존의 UAT에 비해 BDD가 더 효과적인 안전 검증 기법이 될 수 있는지 조사한다.
• STPA를 통한 안전 분석과 BDD를 통한 안전 검증을 융합했을 때 주요 개발 지표에 미치는 영향을 평가한다.
• 반복적 개발 과정에서 BDD가 안전 요구사항에 대한 커뮤니케이션을 어떻게 향상시키는지 탐구한다.
• 시스템 이론적 원칙에 따라 안전 중심 행동을 검증하는 데서 BDD의 타당성과 효과성을 평가한다.

제안 방법

• 고수준 아키텍처 단계에서 STPA를 활용해 안전 요구사항을 도출하며, 구체적 또는 안정된 시스템 설계가 필요 없이도 가능하도록 한다.
• BDD의 'Given-When-Then' 템플릿을 사용해 안전 중심 테스트 시나리오를 일반 언어로 명시하며, 구현 방식이 아닌 시스템 행동에 중점을 둔다.
• Java 코드를 사용해 테스트 후행 방식으로 BDD 테스트 케이스를 구현하며, 개발 중인 시스템과 연결한다.
• 44명의 학생을 대상으로 한 통제 실험을 수행하여, 생산성, 테스트 철저성, 결함 탐지 효과성, 커뮤니케이션 효과성의 네 가지 평가 차원에서 BDD와 UAT를 비교한다.
• 자동화된 테스트 스위트를 지속적 통합(CI)과 통합하여 테스트 상태를 추적하고 실시간 피드백을 지원한다.
• 설문 조사와 성능 지표를 수집·분석하여 BDD가 커뮤니케이션 및 검증 품질에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 애자일 개발 환경에서 UAT 대신 BDD를 사용할 경우, 안전 검증의 커뮤니케이션 효과성이 향상되는가?
• RQ2 BDD와 UAT를 사용할 때 안전 검증의 생산성에 통계적으로 유의미한 차이가 있는가?
• RQ3 BDD와 UAT는 테스트 철저성 및 결함 탐지 효과성 측면에서 어떻게 비교되는가?
• RQ4 BDD는 안전 요구사항의 기능적 격차와 극단 케이스를 얼마나 빨리 탐지하는 데 기여하는가?
• RQ5 BDD는 개발자, 비즈니스 분석가, 안전 관련 이해관계자 간의 双방향 추적성과 공동 이해를 얼마나 향상시키는가?

주요 결과

• BDD는 UAT에 비해 커뮤니케이션 효과성에서 유의미한 향상을 보였으며, 24개의 커뮤니케이션 요소 중 11개에서 통계적 유의성이 확인되었다.
• BDD의 'Given-When-Then' 형식은 명확성을 높이고 모호성을 줄여, 안전 요구사항의 이해와 문서화를 향상시켰다.
• 엄격한 이름 규칙과 계층적 구조 덕분에 BDD 테스트 케이스는 더 체계적이고 읽기 쉽게, 유지보수성도 높아 보였다.
• 개발자들은 BDD 시나리오를 작성함으로써 안전 요구사항에 더 깊이 관여하게 되었으며, 이로 인해 극단 케이스나 기능적 격차를 조기에 발견할 수 있었다.
• 비즈니스 분석가는 BDD 테스트 케이스가 코드로 직접 연결되어 있고 자동 보고를 통해 실시간 검증 상태를 확인할 수 있어, 더 높은 신뢰도를 느꼈다.
• 테스트 코드의 단순성과 수동 결함 분석 방식으로 인해, 생산성, 테스트 철저성, 결함 탐지 효과성 측면에서 BDD와 UAT 간에 통계적으로 유의미한 차이가 없었다.