[논문 리뷰] Neuro-Symbolic Execution: The Feasibility of an Inductive Approach to Symbolic Execution

Shiqi Shen, Soundarya Ramesh외 3명|arXiv (Cornell University)|2018. 07. 02.

Software Testing and Debugging Techniques참고 문헌 79인용 수 4

한 줄 요약

이 논문은 제약 조건의 표현력과 확장성의 한계를 극복하기 위해 기호 실행과 신경망을 결합한 새로운 접근법인 신경기호 실행(NeuEx)을 소개한다. 기울기 최적화와 SMT를 사용하여 혼합된 기호-신경 제약 조건을 해결하면서, 기울기 가능한 신경망 제약 조건을 통해 복잡한 변수 간 관계를 학습함으로써, 복잡한 제약 조건을 가진 14개의 버퍼 오버플로우 프로그램 중 13개에 대해 악성 코드 생성에 성공했으며, 검증 및 불변식 합성 벤치마크에서 73개 프로그램의 신경기호 제약 조건 100%를 해결했다.

ABSTRACT

Symbolic execution is a powerful technique for program analysis. However, it has many limitations in practical applicability: the path explosion problem encumbers scalability, the need for language-specific implementation, the inability to handle complex dependencies, and the limited expressiveness of theories supported by underlying satisfiability checkers. Often, relationships between variables of interest are not expressible directly as purely symbolic constraints. To this end, we present a new approach -- neuro-symbolic execution -- which learns an approximation of the relationship as a neural net. It features a constraint solver that can solve mixed constraints, involving both symbolic expressions and neural network representation. To do so, we envision such constraint solving as procedure combining SMT solving and gradient-based optimization. We demonstrate the utility of neuro-symbolic execution in constructing exploits for buffer overflows. We report success on 13/14 programs which have difficult constraints, known to require specialized extensions to symbolic execution. In addition, our technique solves $100$\% of the given neuro-symbolic constraints in $73$ programs from standard verification and invariant synthesis benchmarks.

연구 동기 및 목표

• 프로그램 변수 간 복잡하고 표현 불가능한 관계를 다루는 데 있어 기호 실행의 한계를 해결하기 위해.
• 기호 실행에서 비선형 또는 문자열 중심 연산에 대해 SMT 솔버의 확장성과 표현력 제약을 극복하기 위해.
• 기호 실행에서 기본적으로 지원하지 않는 코드 컴포넌트, 예를 들어 블랙박스 또는 전용 함수를 분석할 수 있도록 하기 위해.
• 기계 학습 기반의 유추 추론과 추론 기반의 논리적 추론을 통합한 일반 목적의 제약 조건 해결 프레임워크를 개발하기 위해.
• 사전 정의된 제약 조건 템플릿이 필요 없이 신경망을 사용해 복잡한 프로그램 동작을 근사화함으로써 기호 실행에 통합할 수 있는 가능성을 입증하기 위해.

제안 방법

• 신경기호 실행은 학습 인터페이스를 통해 실제 테스트 실행에서 변수 간 관계의 신경망 표현을 학습한다.
• 제약 조건은 SMT에서 유래한 기호 표현식과 학습된 모델에서 유도된 신경망 출력의 논리적 합성으로 표현된다.
• 기울기 기반 최적화와 SMT 해결을 조합한 하이브리드 제약 조건 솔버를 통해 혼합된 기호-신경 제약 조건의 만족 가능성을 검증한다.
• 기울기 가능한 신경망을 사용하여 제약 조건 만족 및 입력 최적화를 위한 역전파와 기울기 계산을 가능하게 한다.
• 소스 코드나 언어 전용 규칙이 필요 없이 관측된 프로그램 동작에서 학습함으로써 화이트박스 및 블랙박스 분석을 모두 지원한다.
• 신경망의 보편 근사 성질을 활용하여 표준 SMT 이론에서 표현하기 어려운 비선형적 또는 문자열 기반 관계를 모델링한다.

실험 결과

연구 질문

• RQ1 신경망은 기호 제약 조건으로 표현하기 어려운 복잡하고 비선형적인 프로그램 변수 간 관계를 효과적으로 학습하고 표현할 수 있는가?
• RQ2 SMT와 기울기 기반 최적화를 조합한 하이브리드 제약 조건 솔버가 혼합된 기호-신경 제약 조건을 효율적으로 해결할 수 있는가?
• RQ3 신경기호 실행은 복잡한 제약 조건을 가진 버퍼 오버플로우 취약점에 대해 전통적인 기호 실행보다 악성 코드 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ4 이 프레임워크는 표준 검증 및 불변식 합성 벤치마크에 얼마나 잘 일반화되는가?
• RQ5 사전 정의된 제약 조건 템플릿이 없는 것이 제약 조건 유추의 유연성과 적용 가능성에 어떻게 기여하는가?

주요 결과

• 신경기호 실행은 복잡한 제약 조건으로 인해 기존 기호 실행으로는 도전적인 것으로 알려진 14개의 버퍼 오버플로우 프로그램 중 13개에 대해 작동하는 악성 코드를 성공적으로 생성했다.
• 검증 및 불변식 합성에서 표준으로 사용되는 73개의 벤치마크에서 신경기호 제약 조건 100%를 해결하여 높은 신뢰성과 커버리지를 입증했다.
• 하이브리드 솔버는 SMT 해결과 기울기 기반 최적화를 효과적으로 조합하여 복잡한 제약 조건이 존재하는 고차원 입력 공간에서의 효율적 탐색을 가능하게 했다.
• 비선형 또는 문자열 기반 함수와 같이 표준 SMT 이론에서 표현이 불가능한 관계를 학습함으로써 기존 기호 실행보다 더 높은 표현력을 달성했다.
• 사전 정의된 제약 조건 템플릿이 필요 없어, 테스트 데이터에서 임의의 기능적 관계를 학습할 수 있어 더 높은 유연성과 적용 가능성 확보가 가능했다.
• 기울기 가능한 신경망의 사용으로 기울기 계산이 가능해져, 복잡한 제약 조건 조합을 만족시키기 위한 입력 최적화가 효율적으로 수행되었다.