[논문 리뷰] Robust Dynamic Selection of Tested Modules in Software Testing for Maximizing Delivered Reliability

Ping Cao, Zhao Dong외 2명|arXiv (Cornell University)|2013. 09. 12.

Software Reliability and Analysis Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 사용자 운영 프로파일의 불확실성과 테스터의 위험 회피 성향에 대비해 배달된 신뢰성을 최대화하는 강건한 동적 선택 프레임워크를 제안한다. 위험에 대한 유틸리티 함수와 불확실성 집합에 대한 강건 최적화를 통해 동적 프로그래밍으로 문제를 모델링함으로써, 결함 수를 최소화하는 것보다 배달된 신뢰성을 직접 최적화하는 것이 실제 환경에서의 신뢰성 향상에 크게 기여하며, 특히 위험 회피적 테스팅 행동에서 두드러진다.

ABSTRACT

Software testing is aimed to improve the delivered reliability of the users. Delivered reliability is the reliability of using the software after it is delivered to the users. Usually the software consists of many modules. Thus, the delivered reliability is dependent on the operational profile which specifies how the users will use these modules as well as the defect number remaining in each module. Therefore, a good testing policy should take the operational profile into account and dynamically select tested modules according to the current state of the software during the testing process. This paper discusses how to dynamically select tested modules in order to maximize delivered reliability by formulating the selection problem as a dynamic programming problem. As the testing process is performed only once, risk must be considered during the testing process, which is described by the tester's utility function in this paper. Besides, since usually the tester has no accurate estimate of the operational profile, by employing robust optimization technique, we analysis the selection problem in the worst case, given the uncertainty set of operational profile. By numerical examples, we show the necessity of maximizing delivered reliability directly and using robust optimization technique when the tester has no clear idea of the operational profile. Moreover, it is shown that the risk averse behavior of the tester has a major influence on the delivered reliability.

연구 동기 및 목표

• 결함 제거에 초점을 맞춘 소프트웨어 테스팅의 한계를 보완하여 최종 사용자에게 배달되는 신뢰성에 초점을 맞추기 위해.
• 실시간 상태와 사용자 운영 프로파일을 고려한 동적 프로그래밍으로 테스팅 과정을 모델링하기 위해.
• 결과적으로 실현된(단순히 기대값이 아닌) 신뢰성에 대한 우려를 반영하기 위해 오목한 유틸리티 함수를 도입해 테스터의 위험 회피 성향을 수학적으로 표현하기 위해.
• 사용자 운영 프로파일의 불확실성을 강건 최적화를 통해 다루어 최악의 시나리오에서도 성능을 확보하기 위해.
• 남은 결함 수를 최소화하는 것보다 배달된 신뢰성을 직접 최적화하는 것이 더 나은 결과를 낳음을 입증하기 위해.

제안 방법

• 현재 결함 상태와 운영 프로파일에 따라 테스팅 결정이 달라지는 동적 프로그래밍으로 모듈 선택 문제를 수립한다.
• 위험 회피적 테스터 행동을 모델링하기 위해 엄격히 증가하는 오목한 유틸리티 함수를 도입하여 실현된 신뢰성 변동성에 대한 우려를 반영한다.
• 운영 프로파일의 불확실성을 다루기 위해 그 값이 주어진 불확실성 집합 내에 존재한다고 가정하고 강건 최적화를 적용하여 최악의 상황에서도 성능을 보장한다.
• 벨만 방정식을 사용한 동적 프로그래밍을 통해 최적의 선택 정책을 유도하기 위해 최적화 문제를 해결한다.
• 수치 시뮬레이션을 통해 위험 회피 성향과 운영 프로파일의 불확실성이 배달된 신뢰성 분포에 미치는 영향을 평가한다.
• 10,000회 반복하는 몬테카를로 시뮬레이션을 활용해 다양한 위험 매개변수 하에서 배달된 신뢰성의 경험적 분포를 추정한다.

실험 결과

연구 질문

• RQ1 배달된 신뢰성을 직접 최적화하는 것이 남은 결함 수를 최소화하는 것보다 실제 소프트웨어 신뢰성 측면에서 어떻게 다를까?
• RQ2 테스터의 위험 회피 성향은 배달된 신뢰성의 분포와 변동성에 어떤 영향을 미치는가?
• RQ3 사용자 운영 프로파일의 불확실성은 테스팅 전략의 강건성에 어떤 영향을 미치는가?
• RQ4 진짜 운영 프로파일이 알려져 있지 않을 때, 불확실성 집합에 대한 강건 최적화가 테스팅 정책의 신뢰성을 향상시킬 수 있는가?
• RQ5 위험 회피적과 위험 중립적인 다양한 위험 선호도는 최적의 모듈 선택 정책에 어떤 영향을 미치는가?

주요 결과

• 결함 수를 줄이는 것보다 배달된 신뢰성을 직접 최적화하는 것이 조건이 같을지라도 실제 신뢰도가 훨씬 높게 나타나며, 이는 결함 수 감소와는 별개로 성능 향상을 이끌어낸다.
• 위험 회피적인 테스터(γ가 낮을수록)는 특히 γ = 0.001 또는 0.01일 때 더 높은 분산을 보이며 배달된 신뢰성 분포의 변동성이 더 크다.
• 배달된 평균 신뢰도는 위험 회피 성향이 증가함에 따라 증가한다: γ = 0.001일 때 0.3947에서 γ = 1일 때 0.5512로 증가하여 평균 성능와 변동성 사이의 트레이드오프를 보여준다.
• 배달된 신뢰도의 분산은 위험 수준에 관계없이 비교적 안정적으로 유지되며(0.0057–0.0099), 하지만 분포의 형태는 크게 변화하며 위험 회피 정책은 더 넓은 분산을 보인다.
• 수치 예제는 운영 프로파일이 알려져 있지 않을 경우 강건 최적화가 필수적임을 확인하며, 이는 최악의 시나리오에서도 성능을 보장하기 때문이다.
• 결과적으로 위험 회피 행동은 더 보수적인 테스팅 전략을 이끌어내며, 이는 평균 신뢰도는 낮지만 안전이 중요한 시스템에서는 바람직할 수 있다.