[논문 리뷰] Dynamic Analysis of Regression Problems in Industrial Systems: Challenges and Solutions

Fabrizio Pastore, Leonardo Mariani|arXiv (Cornell University)|2017. 05. 23.

Software Testing and Debugging Techniques참고 문헌 9인용 수 10

한 줄 요약

이 논문은 런타임 검증, 사양 마이닝, 정적 분석을 통합한 접근 방식을 제안하여 산업 소프트웨어 시스템에서의 회귀 결함을 탐지하고 진단한다. 실행 트레이스에서 자동으로 행동 성질을 마이닝하고, 모델 체킹을 통해 부정확한 성질을 정제하며, 관련성이 있는 코드 영역만 모니터링함으로써, 통과 및 실패 테스트 케이스에 대한 런타임 검사를 통해 회귀 실패를 효과적으로 식별한다. 이는 잘못된 경고(false positives)를 크게 줄이고 실세계 구현에서 개발자의 사용성을 향상시킨다.

ABSTRACT

This paper presents the result of our experience with the ap- plication of runtime verification, testing and static analysis techniques to several industrial projects. We discuss the eight most relevant challenges that we experienced, and the strategies that we elaborated to face them.

연구 동기 및 목표

• 수동로 사양된 성질을 정의하는 것이 비현실적인 대규모이고 진화하는 산업 소프트웨어 시스템에서의 회귀 결함 탐지 과제를 해결한다.
• 수동으로 작성된 성질의 한계를 극복하기 위해 런타임 트레이스에서 사양 마이닝을 사용해 자동으로 성질을 유도한다.
• 정적 분석(예: 모델 체킹)을 통해 마이닝된 성질을 걸러내어 오직 공식적으로 검증된 참 성질만 유지함으로써 잘못된 경고를 줄이고 진단 정확도를 향상시킨다.
• 코드 인스트루멘테이션을 피하고 지속적 통합 파이프라인을 지원함으로써 산업 개발 워크플로우에 원활하게 통합할 수 있도록 한다.
• 진단 출력을 계층적으로 구성하고 잡음이 아닌 의미 있는 원인-결과 체인을 우선순위화함으로써 실패 진단의 효과를 높인다.

제안 방법

• 기본 소프트웨어 버전의 실행 트레이스를 수집하여 행동 패턴을 추출한다.
• 변수 값과 연산 순서에 중점을 두고, 사양 마이닝 기법을 사용해 트레이스에서 후보 행동 성질을 마이닝한다.
• 기본 시스템에 대해 공식적으로 검증된 참 성질만 유지하기 위해 정적 분석(예: 모델 체킹)을 적용하여 부정확하거나 과적합된 성질을 정제한다.
• 업그레이드된 시스템에서 통과하는 테스트 케이스를 모니터링하여, 변경으로 인해 의도적으로 무효화된 성질(노후화된 성질)을 식별한다.
• 남은 최신 성질을 사용해 업그레이드된 시스템에서 실패하는 테스트 케이스를 모니터링하여, 회귀 결함을 설명하는 이질적인 이벤트를 탐지한다.
• 최신 성질에 대해 정적 검증을 적용하여 어떤 테스트 케이스에서도 발생하지 않은 회귀 결함을 발견함으로써 결함 커버리지를 향상시킨다.

실험 결과

연구 질문

• RQ1 수동으로 작성된 성질에 의존하지 않고 산업 시스템에서 기능적 회귀 결함을 자동으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 자동으로 마이닝된 성질을 사용할 때 런타임 검증에서 잘못된 경고를 줄이기 위한 전략은 무엇인가?
• RQ3 대규모 산업 시스템에서 확장성을 향상시키기 위해 모니터링을 관련 코드 영역으로 집중할 수 있는 방법은 무엇인가?
• RQ4 기존 산업용 CI/CD 파이프라인에 런타임 검증을 원활하게 통합하는 방법은 무엇인가?
• RQ5 개발자가 효율적인 근본 원인 분석를 수행할 수 있도록 진단 출력을 어떻게 구성할 수 있는가?

주요 결과

• 사양 마이닝이 산업 시스템에서 수동으로 지정된 성질의 유효한 대체로 작동하는 기능 성질 집합을 성공적으로 생성했다.
• 모델 체킹을 통한 정적 정제로 인해 부정확하거나 과적합된 성질의 수가 크게 감소하여 분석의 신뢰성이 향상되었다.
• 변경된 코드의 기능적 이웃 영역에만 모니터링을 집중함으로써(변경된 코드 자체는 제외) 확장성 있고 효과적인 런타임 분석이 가능했다.
• 빌드 프로세스를 수정하지 않고 GDB와 PIN 도구를 사용해 모니터링 스크립트를 생성한 것이 개발자들 사이에서 긍정적으로 평가되었으며, 원활한 통합을 가능케 했다.
• 진단 출력을 계층적이고 원인-결과 기반의 뷰로 구성함으로써 개발자의 이해도가 향상되고 잘못된 경고에 소요되는 시간이 감소했다.
• Jenkins 플러그인 통합 덕분에 기술이 최소한의 설정 오버헤드로 지속적 통합 환경에 배포 가능해졌으며, 도입 가능성도 증가했다.