[논문 리뷰] Mathematical Execution: A Unified Approach for Testing Numerical Code

Zhoulai Fu, Zhendong Su|arXiv (Cornell University)|2016. 10. 04.

Software Testing and Debugging Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 수치 코드 테스팅을 위한 통합적 접근법인 수학적 실행(Mathematical Execution, ME)을 소개한다. 이는 자동화된 테스팅을 수학적 최적화 문제로 공식화함으로써, 테스팅 목표를 표현하는 함수를 정의하고, 이를 최소화함으로써 의미론에 의존하지 않는 입력 공간 탐색을 가능하게 한다. Sun의 C 수학 라이브러리에서 평가한 결과, ME 기반 툴 CoverMe는 근사 최적의 분기 커버리지(91%)를 달성하여 랜덤 테스팅과 Austin보다 뚜렷이 뛰어나며, 평균 테스트 시간은 6.9초로 6058.4초에 비해 극적으로 향상되었다.

ABSTRACT

This paper presents Mathematical Execution (ME), a new, unified approach for testing numerical code. The key idea is to (1) capture the desired testing objective via a representing function and (2) transform the automated testing problem to the minimization problem of the representing function. The minimization problem is to be solved via mathematical optimization. The main feature of ME is that it directs input space exploration by only executing the representing function, thus avoiding static or symbolic reasoning about the program semantics, which is particularly challenging for numerical code. To illustrate this feature, we develop an ME-based algorithm for coverage-based testing of numerical code. We also show the potential of applying and adapting ME to other related problems, including path reachability testing, boundary value analysis, and satisfiability checking. To demonstrate ME's practical benefits, we have implemented CoverMe, a proof-of-concept realization for branch coverage based testing, and evaluated it on Sun's C math library (used in, for example, Android, Matlab, Java and JavaScript). We have compared CoverMe with random testing and Austin, a publicly available branch coverage based testing tool that supports numerical code (Austin combines symbolic execution and search-based heuristics). Our experimental results show that CoverMe achieves near-optimal and substantially higher coverage ratios than random testing on all tested programs, across all evaluated coverage metrics. Compared with Austin, CoverMe improves branch coverage from 43% to 91%, with significantly less time (6.9 vs. 6058.4 seconds on average).

연구 동기 및 목표

• 수치 코드 테스팅의 과제를 해결하기 위해, 경로 폭발과 수치 제약 조건으로 인해 기호 실행이 어려운 점과, 낮은 커버리지로 인해 랜덤 테스팅이 어려운 점을 해결한다.
• 프로그램 논리의 복잡한 정적 또는 기호 분석 없이도 통합적이고 의미론에 의존하지 않는 자동화된 테스팅 방법을 개발한다.
• 수학적 최적화를 통해 표현 함수의 최적화가 수치 코드의 입력 공간을 체계적이고 효율적으로 탐색할 수 있음을 입증한다.
• 커버리지 기반 테스팅, 경로 도달 가능성, 경계 분석, 만족 가능성 검사 등 수치 프로그램에서의 이 접근법을 평가한다.
• 실제 수치 라이브러리에서 ME를 사용하여 분기 커버리지 테스팅을 수행할 수 있는 실용적인 도구(CoverMe)를 구축하고 검증한다.

제안 방법

• 목표 프로그램 FOO의 실패 실행에 얼마나 가까운지 측정하는 표현 함수 FOO_R를 정의한다. FOO_R(x) = 0이면 FOO(x) ↓ wrong이다.
• 테스팅 문제를 FOO_R의 최소화 문제로 변환함으로써, FOO의 의미론을 분석하지 않고도 기존의 수학적 최적화 기법을 활용한다.
• 시뮬레이티드 앤날링, 몬테카를로 마르코프 체인 등 표준 최적화 솔버를 사용하여, FOO_R 평가에 의해 유도되는 입력 공간을 탐색한다.
• 분기 커버리지, 경로 도달 가능성, 경계 값 분석 등의 테스팅 목표를 거리 유사도 측도를 통해 FOO_R에 통합한다.
• 실수 연산 코드에서 높은 분기 커버리지를 달성하기 위해 ME를 활용하는 개념 증명용 도구 CoverMe를 구현한다.
• 실패 입력이 존재하는 가정 하에, FOO(x) ↓ wrong이면 오직 그때만 FOO_R의 최소화를 이루는 것으로 이론적으로 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 정적 또는 기호 분석 없이도 수치 코드 테스팅을 위한 통합적 접근법을 구축할 수 있는가?
• RQ2 표현 함수의 수학적 최적화가 수치 코드의 입력 공간 탐색을 효과적으로 이끌 수 있는가?
• RQ3 ME는 랜덤 테스팅 및 하이브리드 기호/검색 기반 도구들(예: Austin)과 비교해 커버리지 및 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 ME는 분기 커버리지, 경로 도달 가능성, 만족 가능성 검사 등 다양한 테스팅 목표에 적응 가능한가?
• RQ5 표현 함수의 형식화는 다양한 수치 테스팅 목표를 강력한 이론적 보장과 함께 충분히 표현할 수 있는가?

주요 결과

• CoverMe는 Sun의 C 수학 라이브러리에서 테스트한 모든 프로그램에서 근사 최적의 분기 커버리지를 달성하였으며, 모든 지표에서 랜덤 테스팅을 뛰어넘었다.
• CoverMe는 평균 분기 커버리지를 Austin의 43%에서 91%로 향상시켜 뚜렷하고 일관된 향상을 보였다.
• CoverMe는 평균 테스트 시간을 Austin의 6058.4초에서 6.9초로 단축시켜 99.9%의 효율성 향상을 보였다.
• 이 방법은 부동소수점 연산, 비선형 관계, 외부 수학 함수(예: 삼각함수, 로그함수)를 포함한 다양한 수치 코드에서 효과적이다.
• 표현 함수의 공식화는 FOO(x) ↓ wrong이면 오직 그때만 FOO_R의 최소화를 이루는 강력한 이론적 기반을 제공한다.
• 정적 분석 없이 함수 평가에만 의존하므로 ME는 다양한 테스팅 문제에 대해 확장 가능하고 스케일이 가능하다.