[논문 리뷰] The landscape of software failure cause models

Lena Feinbube, Peter Tröger외 1명|arXiv (Cornell University)|2016. 03. 14.

Software Reliability and Analysis Research참고 문헌 85인용 수 3

한 줄 요약

이 체계적 맵핑 연구는 문헌에서 156개의 소프트웨어 장애 원인 모델을 분석하여 연구 영역을 여덟 주제 군집으로 분류하여 연구 환경을 맵핑한다. 연구는 소스 코드 결함에 대한 강한 집중을 드러내며, 장애 유발 조건과 런타임 오류 상태의 부족함을 보여주어, 테스팅 및 신뢰성 분야에서의 요구 증가에도 불구하고 동적 장애 모델링 분야의 연구 격차를 드러낸다.

ABSTRACT

The software engineering field has a long history of classifying software failure causes. Understanding them is paramount for fault injection, focusing testing efforts or reliability prediction. Since software fails in manifold complex ways, a broad range of software failure cause models is meanwhile published in dependability literature. We present the results of a meta-study that classifies publications containing a software failure cause model in topic clusters. Our results structure the research field and can help to identify gaps. We applied the systematic mapping methodology for performing a repeatable analysis. We identified 156 papers presenting a model of software failure causes. Their examination confirms the assumption that a large number of the publications discusses source code defects only. Models of fault-activating state conditions and error states are rare. Research seems to be driven mainly by the need for better testing methods and code-based quality improvement. Other motivations such as online error detection are less frequently given. Mostly, the IEEE definitions or orthogonal defect classification is used as base terminology. The majority of use cases comes from web, safety- and security-critical applications.

연구 동기 및 목표

• 소프트웨어 장애 원인 모델에 관한 기존 연구를 맵핑하고 체계화하여 분야 내 접근성과 통일성을 향상시키기 위해.
• 소프트웨어 장애 원인 모델링 문헌에서 지배적인 주제, 용어, 연구 동기를 파악하기 위해.
• 장애 유발 조건과 오류 상태와 같이 런타임 테스팅 및 장애 내성에 핵심적인 요소이지만 아직 탐색되지 않은 분야를 밝혀내기 위해.
• Laprie/Avižienis 및 IEEE 기준에 기반하여 공통된 용어 기반을 마련하여 연구자와 실무자 모두를 지원하기 위해.
• 특히 정적 코드 결함을 초월한 동적 장애 모델링 분야의 격차를 특정하여 향후 연구를 이끌기 위해.

제안 방법

• IEEE, ACM, Web of Science, ScienceDirect, Springer, Arxiv.org 및 기타 7개 데이터베이스에서 정의된 검색 문자열을 사용하여 체계적 맵핑 연구(SMS)를 수행하였다.
• 다단계 필터링 프로세스를 적용: 초기 데이터베이스 검색, 중복 제거, 관련성 및 포함 기준에 기반한 수동 스크리닝.
• 장애 원인 유형, 적용 도메인, 용어 기반 등의 차원에서 출판물을 분류하기 위한 태그 분류 체계를 개발하였다.
• Laprie/Avižienis 용어 모델을 기반으로 하여 결함(fault), 오류(error), 장애(failure)를 정의하였으며, 이를 코드 수준의 결함에 중점을 두어 적응시켰다.
• 예: 소스 코드 결함, 장애 유발 조건, 오류 상태, 테스팅 응용 등에 초점을 맞춘 여덟 주제 군집으로 모델을 분류하였다.
• IEEE 및 ODC(직교 결함 분류)와 같은 표준 분류 체계를 출판물의 기본 용어로 평가하였다.

실험 결과

연구 질문

• RQ1 문헌에서 지배적인 소프트웨어 장애 원인 모델의 유형은 무엇이며, 어떻게 분류되어 있는가?
• RQ2 기존 모델이 장애 유발 조건과 런타임 오류 상태와 같은 동적 요소를 어느 정도 다루고 있는가?
• RQ3 소프트웨어 장애 원인 모델링 연구를 이끄는 주요 동기는 무엇인가? 예를 들어, 테스팅, 신뢰성 예측, 오류 탐지 등.
• RQ4 IEEE나 ODC와 같은 확립된 용어 체계가 장애 원인 모델링 연구에서 얼마나 널리 채택되고 있는가?
• RQ5 웹, 안전성 중심, 보안 중심 등 응용 도메인 중 어느 것이 장애 원인 모델 연구에서 가장 높은 비중을 차지하고 있는가?

주요 결과

• 총 156편의 소프트웨어 장애 원인 모델을 제시하는 출판물이 식별되고 분석되어 체계적 맵의 기초가 되었다.
• 대부분의 모델(주로) 소스 코드 결함에 집중되어 있으며, 장애 유발 조건이나 런타임 오류 상태를 다루는 비율은 매우 낮다.
• 연구는 주로 더 나은 테스팅 방법과 코드 기반 품질 향상의 필요성에 의해 이끌리며, 온라인 오류 탐지는 덜 흔한 동기이다.
• IEEE 정의와 직교 결함 분류(ODC)가 문헌에서 가장 널리 사용되는 기초 용어이다.
• 웹, 안전성 중심, 보안 중심 애플리케이션은 장애 원인 모델 연구에서 지배적인 응용 도메인이다.
• 헤이젠버그(Heisenbugs)와 쇠링거드러지기(Schrödingbugs)와 같은 동적 장애 현상이 존재하지만, 학술 문헌에서 런타임 행동을 포괄하는 모델은 여전히 개발이 부족하다.