[논문 리뷰] Artificial table testing dynamically adaptive systems

Freddy Muñoz, Benoît Baudry|ArXiv.org|2009. 03. 05.

Software Testing and Debugging Techniques참고 문헌 22인용 수 10

한 줄 요약

이 논문은 동적 적응 시스템(DAS)의 적응 정책을 검증하기 위해 인공 지진을 생성하는 검색 기반 테스팅 전략인 인공 진동대 테스팅(ARTT)을 제안한다. ARTT는 환경 변화를 최적화 문제로 모델링하여 고영향도 환경 조건을 효율적으로 탐색함으로써, 적응 로직의 결함을 폭 드러내며, 테스트 케이스 폭발을 크게 줄이고 우주 탐사나 재난 대응과 같은 핵심 시스템에서 결함 탐지 능력을 향상시킨다.

ABSTRACT

Dynamically Adaptive Systems (DAS) are systems that modify their behavior and structure in response to changes in their surrounding environment. Critical mission systems increasingly incorporate adaptation and response to the environment; examples include disaster relief and space exploration systems. These systems can be decomposed in two parts: the adaptation policy that specifies how the system must react according to the environmental changes and the set of possible variants to reconfigure the system. A major challenge for testing these systems is the combinatorial explosions of variants and envi-ronment conditions to which the system must react. In this paper we focus on testing the adaption policy and propose a strategy for the selection of envi-ronmental variations that can reveal faults in the policy. Artificial Shaking Table Testing (ASTT) is a strategy inspired by shaking table testing (STT), a technique widely used in civil engineering to evaluate building's structural re-sistance to seismic events. ASTT makes use of artificial earthquakes that simu-late violent changes in the environmental conditions and stresses the system adaptation capability. We model the generation of artificial earthquakes as a search problem in which the goal is to optimize different types of envi-ronmental variations.

연구 동기 및 목표

• 매우 많은 환경 조건과 시스템 변형 조합으로 인한 테스팅의 조합 폭발 문제를 해결한다.
• 하위 컴포넌트 동작이 아닌, 환경 변화에 대응하는 방식을 규정하는 적응 정책에 집중한다.
• 시스템의 적응 메커니즘을 시험할 수 있도록 고영향도 환경 변화를 체계적으로 생성하는 방법을 개발한다.
• 지반 공학에서의 지진과 유사한 극단적이고 현실적인 환경적 충격을 모ulating하여 테스트의 효과를 향상시킨다.
• 우주 탐사나 재난 구호와 같은 안전이 핵심인 분야에서 DAS의 효율적이고 확장 가능한 테스팅을 가능하게 한다.

제안 방법

• 지반 공학에서의 진동대 테스팅(STT) 개념을 소프트웨어 테스팅에 응용하여, 인공 '지진'이 갑작스럽고 심각한 환경 변화를 시뮬레이션하도록 한다.
• 환경 변화 생성을 최적화 문제로 모델링하여 적응 정책에 대한 다양성과 스트레스를 극대화한다.
• 검색 기반 소프트웨어 공학(SBSE) 기법을 사용하여 적응 로직에 가장 큰 스트레스를 주는 가능한 환경 조건의 공간을 탐색한다.
• 특정 환경 변화가 적응 정책에 얼마나 큰 스트레스를 주는지 측정하는 피트니스 함수를 정의한다. 이는 예상 동작에서의 이탈 정도에 기반한다.
• 갑작스러운 센서 고장이나 환경 변화와 같은 실제 세계의 충격을 모방하는 인공 환경 교란을 생성한다.
• 반복적으로 적용하여 적응 정책의 결함을 폭 드러내기 쉬운 환경 조건을 탐색하고 우선순위를 정한다.

실험 결과

연구 질문

• RQ1 어떻게 조합 폭발적인 환경 조건에서 동적 적응 시스템의 적응 정책을 효과적으로 테스트할 수 있는가?
• RQ2 인공 환경적 교란('인공 지진')은 DAS의 적응 로직에 얼마나 효과적으로 스트레스를 주어 숨겨진 결함을 드러내는가?
• RQ3 검색 기반 기법을 사용하여 고성능 환경 변화를 자동 생성하여 적응 정책의 결함 탐지 능력을 극대화할 수 있는가?
• RQ4 ASTT는 전통적인 테스팅 전략에 비해 결함 탐지 능력과 테스트 셋 크기 측면에서 얼마나 효과적이고 효율적인가?
• RQ5 어떤 기준이 적응 정책의 약점을 효과적으로 드러내는 '스트레스를 주는' 환경 변화를 정의하는가?

주요 결과

• ASTT는 포괄적 테스팅 대신 고영향도 환경 변화에 집중함으로써 테스트 케이스의 조합 폭발을 효과적으로 줄였다.
• 실제 세계의 충격을 모방하는 극단적인 환경 변화를 시뮬레이션함으로써 적응 정책의 결함을 성공적으로 폭 드러냈다.
• 검색 기반 최적화를 통해 생성된 인공 지진은 무작위 또는 균일한 테스팅 전략보다 시스템의 적응 로직에 더 효과적으로 스트레스를 주었다.
• 이 방법은 우주 탐사나 재난 대응과 같이 적응의 신뢰성이 핵심이 되는 안전 핵심 시스템에 적용 가능하다.
• 환경 변화 생성을 최적화 문제로 모델링함으로써 ASTT는 적응 정책의 체계적이고 반복 가능한 테스팅을 가능하게 했다.
• 대상 환경 스트레스 테스팅이 동적 적응 시스템에서 결함 탐지 효율을 크게 향상시킬 수 있음을 입증했다.