[논문 리뷰] Automated System-Level Software Testing of Industrial Networked Embedded Systems

Per Erik Strandberg|arXiv (Cornell University)|2021. 11. 16.

Software Testing and Debugging Techniques인용 수 8

한 줄 요약

이 학위논문은 산업용 네트워크 기반 임베디드 시스템에서 자동화된 시스템 수준 테스트를 위한 통합적 접근법을 제안하며, 테스트 플로우 관리, 제약 조건 하에서의 테스트/하드웨어 선택, 간헐적 고장 분석, 테스트 결과 시각화와 같은 과제를 다룹니다. 데이터 기반 방법을 도입하여 테스트 우선순위 지정, 커버리지 최적화, 장애 분류를 수행하며, 실증적 검증을 통해 시각화 도구와 간헐적 고장에 대한 메트릭을 통해 테스트 효율성, 커버리지 향상 및 실질적인 통찰력을 확보함을 입증합니다.

ABSTRACT

Embedded systems are ubiquitous and play critical roles in management systems for industry and transport. Software failures in these domains may lead to loss of production or even loss of life, so the software in these systems needs to be reliable. Software testing is a standard approach for quality assurance of embedded software, and many software development processes strive for test automation. Out of the many challenges for successful software test automation, this thesis addresses five: (i) understanding how updated software reaches a test environment, how testing is conducted in the test environment, and how test results reach the developers that updated the software in the first place; (ii) selecting which test cases to execute in a test suite given constraints on available time and test systems; (iii) given that the test cases are run on different configurations of connected devices, selecting which hardware to use for each test case to be executed; (iv) analyzing test cases that, when executed over time on evolving software, testware or hardware revisions, appear to randomly fail; and (v) making test results information actionable with test results exploration and visualization. The challenges are tackled in several ways. [Abstract truncated.]

연구 동기 및 목표

• 소프트웨어 고장이 생산 손실이나 안전 위험을 초래할 수 있는 산업용 네트워크 기반 임베디드 시스템에서 신뢰성과 품질 보증을 향상시키기 위해.
• 자동화된 시스템 수준 테스트의 핵심 과제를 해결하기 위해: 정보 플로우, 제약 조건 하에서의 테스트/하드웨어 선택, 간헐적 테스트 고장, 테스트 결과의 사용성.
• 개발자 신뢰를 높이고 테스트 효율성과 커버리지 향상을 위해 시각화 및 진단 메트릭을 활용한 실용적인 데이터 기반 솔루션을 개발하기 위해.
• 실제 산업 현장 데이터(수년간의 야간 테스트 기록)를 기반으로 산업 테스트 관행과 학술 연구 간 격차를 메우기 위해.
• SDLC 전반에서 의사결정을 향상시키기 위해 테스트를 피드백 루프의 시스템으로 모델링하여 피드백 기반 개발을 지원하기 위해.

제안 방법

• 임베디드 시스템 테스트의 종단 간 정보 플로우를 파악하기 위해 다섯 명의 산업 전문가와 인터뷰를 수행하여 주요 병목 현상과 피드백 포인트를 식별함.
• 야간 회귀 테스트 런에서의 실제 산업 데이터를 사용하여 자동화된 테스트 선택 및 하드웨어 할당 알고리즘을 개발하고 평가함. 시간과 커버리지 최적화를 목표로 함.
• 역사적 실행 데이터를 활용하여 고장 행동 패턴을 탐지함으로써, 테스트 케이스를 간헐적 또는 일관적으로 고장나는 것으로 분류하는 새로운 메트릭을 제안함.
• CI/CD 파이프라인과 통합된 테스트 결과를 위한 시각화 및 탐색 도구를 구축하고 평가함으로써 실질적인 통찰력과 개발자 의사결정 지원을 목적으로 함.
• 조합 테스팅 및 검색 기반 기법을 활용하여 테스트 시스템의 구성 구조를 모델링하고 하드웨어 구성 간 테스트 매핑 최적화를 수행함.
• 장기적인 테스트 로그를 통한 통계적 및 패턴 분석을 통해 간헐적 고장의 근본 원인을 규명하고 일관된 고장과 비교함.

실험 결과

연구 질문

• RQ1 산업용 임베디드 시스템의 소프트웨어 테스트 과정에서 정보 플로우는 어떻게 이루어지며, 이를 어떻게 시각화하여 의사결정을 향상시킬 수 있는가?
• RQ2 시간과 자원 제약 조건 하에서 테스트 케이스와 하드웨어 장치를 자동으로 선택하여 커버리지와 효율성을 극대화할 수 있는가?
• RQ3 임베디드 시스템에서 간헐적 테스트 고장이 발생하는 주요 요인는 무엇이며, 이를 체계적으로 분류하고 진단할 수 있는가?
• RQ4 CI/CD 환경에서 시각화 및 상호작용 탐색을 통해 테스트 결과를 어떻게 더 실질적인 행동으로 전환할 수 있는가?
• RQ5 자동화된 피드백 루프가 임베디드 소프트웨어 시스템의 신뢰성과 유지보수성 향상에 얼마나 기여하는가?

주요 결과

• 연구 결과, 테스트 결과와 피드백 루프는 의사결정에 매우 중요하며, 중앙 집중식 테스트 결과 데이터베이스는 추적 가능성과 대응 능력을 크게 향상시킴을 확인함.
• 자동화된 테스트 선택 및 하드웨어 할당 방법은 반복적인 테스트 반복 동안 장치 구성의 동적 변형을 통해 테스트 세트의 실행 시간을 단축시키고 하드웨어 커버리지를 증가시킴.
• 제안된 간헐적 고장 분류 메트릭은 고유한 패턴을 성공적으로 식별하였으며, 이러한 고장은 일반적으로 코드 버그 외에도 환경적 또는 설정 요인에 의해 유발됨을 보여줌.
• 근본 원인 분석 결과, 간헐적으로 고장 나는 테스트는 주로 시간 지연, 네트워크 지터 또는 하드웨어 변동성에 의해 유발되는 반면, 일관되게 고장 나는 테스트는 더 자주 논리적 오류에 기인함.
• 시각화 도구를 통해 개발자는 테스트 결과를 효과적으로 탐색할 수 있었으며, 사용 로그 분석 결과 특정 뷰와 패턴의 반복적 사용이 관찰되어 강력한 실용적 유용성을 입증함.
• 테스트 결과를 피드백 루프에 통합함으로써 테스트에 대한 신뢰도가 향상되고, 특히 고장 패턴에 대한 진단 통찰력과 결합될 경우 가짜 경고가 감소함을 입증함.