[논문 리뷰] Testing by C++ template metaprograms

Norbert Pataki|arXiv (Cornell University)|2010. 11. 30.

Software Testing and Debugging Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 외부 도구가 필요 없는 컴파일 타임 검증을 가능하게 하는 C++ 템플릿 메타프로그래밍 기반의 테스팅 프레임워크를 제안한다. 템플릿 메타프로그래밍을 활용해 컴파일 타임에 테스트 어썰션을 평가함으로써 런타임 오버헤드를 제거하고, 사용자 정의 사양 언어를 지원함으로써 단위 테스트에서 조기 결함 탐지를 가능하게 한다.

ABSTRACT

Testing is one of the most indispensable tasks in software engineering. The role of testing in software development has grown significantly because testing is able to reveal defects in the code in an early stage of development. Many unit test frameworks compatible with C/C++ code exist, but a standard one is missing. Unfortunately, many unsolved problems can be mentioned with the existing methods, for example usually external tools are necessary for testing C++ programs. In this paper we present a new approach for testing C++ programs. Our solution is based on C++ template metaprogramming facilities, so it can work with the standard-compliant compilers. The metaprogramming approach ensures that the overhead of testing is minimal at runtime. This approach also supports that the specification language can be customized among other advantages. Nevertheless, the only necessary tool is the compiler itself.

연구 동기 및 목표

• 외부 도구가 필요 없는 표준적이고 경량화된 C++ 단위 테스트 프레임워크의 부재를 해결하기 위해.
• C++ 템플릿 메타프로그래밍을 활용해 테스트 평가를 컴파일 타임으로 이동시켜 런타임 오버헤드를 줄이기 위해.
• C++ 내에서 도메인 특화 사양 언어를 생성할 수 있도록 하기 위해.
• 리팩터링 없이도 기존 C++ 코드베이스와 레거시 코드를 테스트할 수 있도록 하기 위해.
• 컴파일 타임에 자동으로 테스트 케이스를 생성할 수 있는지의 가능성을 탐색하기 위해.

제안 방법

• 테스트 케이스와 어썰션을 컴파일 타임 계산으로 표현하기 위해 C++ 템플릿 메타프로그래밍을 사용한다.
• 런타임 값(예: 정수, 실수)을 템플릿 매개변수를 통해 컴파일 타임 상수로 매핑하며, 지수와 가수 표현을 통해 부동소수점 값을 처리한다.
• 기대 결과와 비교 연산을 템플릿 매개변수로 인코딩한 테스트 클래스를 정의하고, 확장성을 위해 포인터 객체를 사용한다.
• 재귀적 템플릿 인스턴시에이션과 부분 전문화를 활용해 컴파일 중에 테스트 결과를 계산하며, 컴파일 타임 예외를 통해 실패를 신호한다.
• 기본 템플릿 매개변수와 함수 객체를 활용해 표준 C++ 구조와 통합함으로써 유연성과 재사용성을 높인다.
• 런타임 종속성(예: 파일 I/O, 데이터베이스 접근)을 피하면서도 비즈니스 로직과 타입 안전한 연산을 테스트할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 C++ 템플릿 메타프로그래밍을 사용해 외부 도구 없이 완전히 자가 포함된 단위 테스트 프레임워크를 구현할 수 있는가?
• RQ2 컴파일러만을 사용해 테스트 어썰션과 기대 결과를 얼마나 잘 컴파일 타임에 인코딩하고 검증할 수 있는가?
• RQ3 템플릿 메타프로그래밍을 통해 도메인 특화 사양 언어를 C++ 테스트에 어떻게 통합할 수 있는가?
• RQ4 가상 함수, I/O, 멀티스레딩과 같은 런타임 종속 동작을 처리할 때 컴파일 타임 테스트의 한계는 무엇인가?
• RQ5 프레임워크를 확장해 주요 실행 경로를 커버하는 테스트 케이스를 자동으로 생성할 수 있는가?

주요 결과

• 표준 준수 C++ 컴파일러만으로도 프레임워크를 사용할 수 있어 외부 테스트 도구가 필요 없다.
• 모든 테스트 평가가 컴파일 타임에 이루어지므로 런타임 성능 오버헤드가 극히 적다.
• 사용자 정의 사양 언어를 지원해 템플릿 메타프로그래밍을 통해 도메인 특화 테스트 문법을 구현할 수 있다.
• 외부 API의 인터페이스 변경, 예를 들어 반환 유형의 변경을 테스트 코드를 수정하지 않고도 탐지할 수 있다.
• 순수 함수와 비즈니스 로직 테스트에는 효과적이지만, 파일 I/O, 데이터베이스 호출, 가상 메서드 디스patch와 같은 런타임 입력은 처리할 수 없다.
• 멀티스레드 프로그램의 테스트에는 적합하지 않다. 컴파일러가 인터프리터로 작동할 때 단일 스레드이고 비결정적인 동작을 보이기 때문이다.