[논문 리뷰] Topological Differential Testing

Kristopher Ambrose, Steve Huntsman외 2명|arXiv (Cornell University)|2020. 03. 02.

Software Testing and Debugging Techniques참고 문헌 47인용 수 9

한 줄 요약

위상적 차등 테스팅(TDT)은 단순 복합체와 층 이론을 사용하여 입력 코퍼스에서 다수의 파서 간의 일관되지 않은 프로그램 행동을 탐지하는 새로운 접근법이다. 이는 PDF와 같은 포맷의 사실상 입력 사양을 드러낸다. TDT는 행동의 이질성을 위상적으로 모델링하여 문제를 일으키는 입력과 기능을 원칙적이고 확장 가능한 분석으로 식별하며, 난이도 있는 사양 이탈을 탐지하는 데서 난이도 있는 투표나 군집화 방법보다 뛰어나다.

ABSTRACT

We introduce topological differential testing (TDT), an approach to extracting the consensus behavior of a set of programs on a corpus of inputs. TDT uses the topological notion of a simplicial complex (and implicitly draws on richer topological notions such as sheaves and persistence) to determine inputs that cause inconsistent behavior and in turn reveal \emph{de facto} input specifications. We gently introduce TDT with a toy example before detailing its application to understanding the PDF file format from the behavior of various parsers. Finally, we discuss theoretical details and other possible applications.

연구 동기 및 목표

• PDF와 같은 복잡한 파일 형식에 대한 공식 사양의 부재를 해결하기 위해 다수의 파서 행동에서 사실상 사양을 추출하는 것.
• 단순한 투표나 군집화의 한계를 극복하기 위해 위상적 구조를 활용하여 행동 이질성을 모델링함으로써 차등 테스팅의 한계를 극복하는 것.
• 다양한 구현 간에 일관되지 않은 행동을 유도하는 입력과 기능을 식별하기 위한 원칙적이고 확장 가능한 방법을 제공하는 것.
• 공식적 또는 기계로 읽을 수 있는 사양에 의존하지 않고도 파서의 미세한 사양 위반을 탐지할 수 있도록 하는 것.
• 소프트웨어 검증, 악성코드 분석, 입력 형식 역공학 등에 응용 가능하도록 프로그램 행동의 위상적 추상화를 지원하는 것.

제안 방법

• TDT는 프로그램과 입력 간의 관계에서 가중된 추상 단순 복합체를 구성하며, 단순 복합체는 특정 입력에서 일관된 프로그램 행동을 나타낸다.
• 이 방법은 단순 복합체 위에 층을 사용하여 이질성을 모델링하며, 부분 집합의 프로그램 간에 행동의 분리가 일어나는 입력을 인코딩한다.
• Dowker 복합체 구축을 통해 프로그램-입력 관계를 이중화함으로써 행동 분리의 위상적 분석을 가능하게 한다.
• 논리 연산 $RS(X,\ell) = \bigwedge S(\text{inc}(X), \ell)$ 을 적용하여 일관되지 않은 입력에 체계적으로 존재하는 기능 $\ell$ 를 식별한다.
• 분할 기법 $\binom{RS}{\lnot r}$ 를 도입하여 기능 커버리지와 프로그램 수 사이의 트레이드오프를 가능하게 하여 확장 가능한 분석을 가능하게 한다.
• 다른 기능 하위집합에서의 분할을 비교함으로써 반복적인 정밀 조정을 지원하며, 정보의 변동성과 같은 메트릭을 사용하여 행동과 관련된 기능을 식별한다.

실험 결과

연구 질문

• RQ1 위상적 방법을 사용하여 다수의 파서 행동에서 사실상 입력 사양을 어떻게 추출할 수 있는가?
• RQ2 단순 복합체와 층은 입력 코퍼스에서의 일관되지 않은 프로그램 행동을 모델링하고 탐지하는 데 어떤 역할을 하는가?
• RQ3 어떻게 체계적으로 파서 간 행동 분리와 관련된 입력 기능을 식별할 수 있는가?
• RQ4 위상적 차등 테스팅은 PDF와 같은 실제 형식에서의 사양 위반을 탐지하는 데서 군집화나 투표 기반 접근보다 뛰어날 수 있는가?
• RQ5 이 방법은 대규모 테스팅 시나리오에서 기능 커버리지와 프로그램 수 사이의 균형을 유지하기 위해 어떻게 확장되고 적응할 수 있는가?

주요 결과

• TDT는 공식 표준이 없는 상황에서 다수의 PDF 파서 간에 일관되지 않은 행동을 유도하는 입력을 성공적으로 식별하여 사실상 사양 경계를 드러냈다.
• 특정 입력 기능—예를 들어 특정 키워드나 구조적 패턴—이 파서 간의 행동 분리와 체계적으로 연관되어 있음을 탐지하여 형식의 기대치를 역공학적으로 복원할 수 있었다.
• 분할 기법 $\binom{RS}{\lnot r}$ 를 사용함으로써 TDT는 분석 대상 프로그램 수와 고려 대상 기능 수 사이의 원칙적인 트레이드오프를 가능하게 하여 확장성을 향상시켰다.
• 이 방법은 행동 이질성의 구조적 관계를 유지하는 위상적 프레임워크를 제공함으로써 단순한 군집화나 투표보다 뛰어난 성능을 보였다.
• 논리적 및 위상적 연산의 사용으로 인해 불일치를 유발하는 데 반드시 필요하고 충분한 기능을 식별할 수 있었고, 거짓 경고를 줄일 수 있었다.
• 이 방법은 PDF를 넘어서 악성코드 다중 스캐닝, 데이터 구조 평가, 검증되지 않은 컴ponent의 공식 검증 등 다양한 분야에 적용 가능성이 있다.