[논문 리뷰] About Instruction Sequence Testing

J.A. Bergstra|arXiv (Cornell University)|2012. 01. 18.

Software Testing and Debugging Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 소프트웨어 테스팅을 위한 기초 모델로 삼을 수 있는 지시어 시퀀스 테스팅(폴린세그 테스팅)의 형식 이론을 개발하고자 한다. 다항지시어 시퀀스(polynseqs)를 최소한의 계산 추상화로 사용함으로써, 정확한 운영 의미론, 성능 메트릭, 실행 기반의 결함 탐지에 중점을 두어 개념적 모호성이 없는 안정적이고 수학적으로 탄탄한 프레임워크를 제공하고자 한다.

ABSTRACT

Software testing is presented as a so-called theme within which different authors and groups have defined different subjects each of these subjects having a different focus on testing. A uniform concept of software testing is non-existent and the space of possible coherent perspectives on software testing, each fitting within the theme, is viewed as being spanned by five dimensions, each dimension representing two opposite views with a variety of intermediate views in between. Instruction sequences are used as a simple theoretical conceptualization of computer programs. A theory of instruction sequence testing may serve as a model for a theory of software testing. Instruction sequences testing is considered a new topic for which definitions may be freely contemplated without being restricted by existing views on software testing. The problem of developing a theory of instruction sequence testing is posed. A survey is given of motivations and scenarios for developing a theory of instruction sequence testing.

연구 동기 및 목표

• 소프트웨어 테스팅 분야에 통합된 이론적 프레임워크가 부족한 문제를 해결하고자 하며, 이는 다양한 정의와 시각이 공존하는 분열된 상태에 놓여 있다.
• 지시어 시퀀스 테스팅(특히 폴린세그 테스팅)을 새로운 최소화된 이론적 모델로 제안하여 보다 광범위한 소프트웨어 테스팅 이론의 프로토타입으로 삼고자 한다.
• 기존 소프트웨어 테스팅 정의의 개념적 혼란을 제거하고, 정확한 의미론을 가진 실행 가능한 형식적 지시어 시퀀스에 기반한 테스팅으로 뿌리를 내리고자 한다.
• 프로그래밍 언어 트렌드나 구현 기술적 특성에 영향을 받지 않는 안정적이고 수학적으로 형식화 가능한 테스팅 프레임워크를 구축하고자 한다.
• 현재 접근 방식이 결여된 명확성과 정밀성에서 벗어나, 폴린세그 테스팅 이론이 프로그램 테스팅의 타당한 모델이 될 수 있는지 탐구하고자 한다.

제안 방법

• 프로그래밍 언어의 전통적 문법에서 벗어나, 최소한의 형식적 표현으로서 다항지시어 시퀀스(polynseqs)를 사용한다.
• 테스팅을 지시어 시퀀스의 실행으로 정의하며, 이는 운영 의미론과 성능 제약 조건에 기반한다. 목표는 결함 탐지이다.
• 최대 내부 지연과 단계 수 제한 실행과 같은 정밀한 성능 개념을 도입하여 실제 테스팅 환경의 제약 조건을 모델링한다.
• 결함과 관측 가능한 실패 간의 명확한 인과 관계를 정의하기 위해 투영 의미론과 운영 의미론을 조합한다.
• 두 단계 접근법을 개발한다: 먼저 이론적 틀 없이 실용적인 직관을 얻기 위해 '초보적 폴린세그 테스팅'을 수행하고, 그 경험을 바탕으로 정의를 정교화한다.
• 이미 존재하는 프로그래밍 표기법에 의존하지 않고, 이론적 안정성과 문법적 추세에서의 분리성을 확보하기 위해 수학적 스타일로 테스팅 개념을 형식화한다.

실험 결과

연구 질문

• RQ1 현재 분야 전반에 걸쳐 통합된 정의가 없음에도 불구하고, 소프트웨어 테스팅을 위한 일관된 모델이 될 수 있는 지시어 시퀀스 테스팅의 형식 이론을 개발할 수 있는가?
• RQ2 최대 내부 지연과 단계 수 제한 실행과 같은 성능 메트릭은 어떻게 형식적으로 정의하고 지시어 시퀀스 테스팅 프레임워크에 통합할 수 있는가?
• RQ3 폴린세그 테스팅 이론이 현재 분열되어 있고 맥락에 따라 달라지는 소프트웨어 테스팅 정의의 대안으로서 얼마나 안정적이고 수학적으로 탄탄한가?
• RQ4 초보적 테스팅 경험을 얻기 전에 폴린세그 테스팅의 이론적 정의를 개발하는 것이 정당하고 유익한가, 아니면 실무 경험은 반드시 사전 조건이어야 하는가?
• RQ5 폴린세그의 운영 의미론과 투영 의미론은 어떻게 조합되어 테스팅에서 결함 탐지와 실패 원인 관계를 정확히 모델링할 수 있는가?

주요 결과

• 지시어 시퀀스 테스팅(폴린세그 테스팅)의 이론은 소프트웨어 테스팅을 위한 기초 모델로 개발될 수 있으며, 이는 현재 분야 내 개념적 혼란을 해결하는 수학적으로 안정된 대안을 제공한다.
• 최대 내부 지연과 단계 수 제한 실행과 같은 정밀한 성능 개념은 폴린세그 프레임워크 내에서 형식적으로 정의하고 구현할 수 있으며, 이는 저수준의 성능 테스팅을 가능하게 한다.
• 투영 의미론과 운영 의미론의 조합은 각 폴린세그에 명확한 운영 의미를 제공하여, 결함-실패 관계의 정밀한 분석을 가능하게 한다.
• 이론적 틀 없이 사전에 정의되지 않은 '초보적 폴린세그 테스팅'—즉, 실용적 실험은 이론적 정의를 위한 준비 단계로서 정당하고 잠재적으로 유용하다.
• 논문은 형식적 폴린세그 테스팅 이론이 가능하고 바람직하다고 결론 내리지만, 반드시 실무 경험에 의존할 필요는 없으며, 경험에 기반하여 정의를 보완하는 것이 바람직하다고 주장한다.
• 제안된 프레임워크는 프로그래밍 언어 문법에 의존하지 않아 프로그래밍 패러다임의 변화에 영향을 받지 않으며, 장기적인 이론적 안정성을 확보한다.