[논문 리뷰] Constraint Solving with Deep Learning for Symbolic Execution

Junye Wen, Mujahid Khan외 3명|arXiv (Cornell University)|2020. 03. 18.

Software Engineering Research참고 문헌 45인용 수 4

한 줄 요약

이 논문은 심볼릭 실행에서 제약 조건 해결을 가속화하기 위해 심층 학습 기반 접근법인 DeepSolver를 제안한다. 이는 집합적인 제약 조건 해답에 대해 신경망을 훈련시켜 경로 조건의 만족 가능성 여부를 분류한다. 이전의 재사용 기법이 문법적 또는 의미적 동일성을 요구하는 데 반해, DeepSolver는 학습된 패턴으로부터 일반화함으로써 높은 정확도와 효율성을 달성한다. 이는 Z3와 GreenTrie를 모두 초월하는 분류 속도와 심볼릭 실행 지원 능력을 보인다.

ABSTRACT

Symbolic execution is a powerful systematic software analysis technique, but suffers from the high cost of constraint solving, which is the key supporting technology that affects the effectiveness of symbolic execution. Techniques like Green and GreenTrie reuse constraint solutions to speed up constraint solving for symbolic execution; however, these reuse techniques require syntactic/semantic equivalence or implication relationship between constraints. This paper introduces DeepSover, a novel approach to constraint solving with deep learning for symbolic execution. Our key insight is to utilize the collective knowledge of a set of constraint solutions to train a deep neural network, which is then used to classify path conditions for their satisfiability during symbolic execution. Experimental evaluation shows DeepSolver is highly accurate in classifying path conditions, is more efficient than state-of-the-art constraint solving and constraint solution reuse techniques, and can well support symbolic execution tasks.

연구 동기 및 목표

• 심볼릭 실행에서 제약 조건 해결의 높은 계산 비용을 해결하라. 이는 소프트웨어 분석의 주요 성瓶颈이다.
• 기존의 제약 조건 해답 재사용 기법이 제약 조건 간 문법적 또는 의미적 동일성을 요구하는 한계를 극복하라.
• 심층 신경망을 사용해 과거의 제약 조건 해답에서 학습된 패턴을 일반화하여 더 빠른 경로 조건 분류가 가능한지 탐색하라.
• 정확성이나 확장성에 손상을 주지 않으면서 심층 학습을 심볼릭 실행에 통합하는 실용적인 프레임워크를 설계하라.
• 심층 학습이 심볼릭 실행 워크로드에 효과적으로 적용될 수 있으며, 특히 경로 조건의 만족 가능성 예측에 효과적임을 입증하라.

제안 방법

• 경로 조건을 고정 크기의 행렬로 변환하기 위해, 기호 표현과 제어 흐름 구조를 인코딩하는 벡터화 알고리즘을 사용한다.
• 이전에 해결된 경로 조건의 데이터셋을 기반으로 심층 신경망(DNN)을 훈련시켜 만족 가능한 조건과 불가능한 조건를 구분하는 패턴을 학습한다.
• 기존의 제약 조건 해답기 호출 없이도 심볼릭 실행 도중 새로운 경로 조건을 분류하기 위해 훈련된 DNN를 사용한다.
• 오류 분류를 처리하고 정확성을 보장하기 위해, DNN 분류기와 후속 대체 메커니즘을 심볼릭 실행 파이프라인에 통합한다.
• 입력 일관성 향상과 다양한 경로 조건 간의 모델 일반화를 향상시키기 위해 논리적 단순화 및 정규화 기법을 적용한다.
• 초기 훈련 데이터 생성과 DNN 예측의 검증을 위해 상용 제약 조건 해답기(예: Z3)를 활용한다.

실험 결과

연구 질문

• RQ1 심층 학습을 사용해 심볼릭 실행에서 경로 조건의 만족 가능성 여부를 효과적으로 예측할 수 있는가?
• RQ2 기존의 제약 조건 해결 기법과 제약 조건 해답 재사용 기법에 비해 심층 학습 기반 분류의 정확도와 효율성은 어떻게 비교되는가?
• RQ3 정확한 문법적 또는 의미적 일치가 필요 없이 DNN가 다양한 경로 조건 간에 얼마나 잘 일반화할 수 있는가?
• RQ4 프로그램 복잡성과 경로 조건 다양성이 증가함에 따라 DNN 기반 접근법은 얼마나 잘 확장되는가?
• RQ5 심볼릭 실행에 심층 학습을 통합함으로써 정확성을 유지하면서도 솔버 호출 오버헤드를 크게 줄일 수 있는가?

주요 결과

• DeepSolver는 9개의 실제 Java 프로그램에서 얻은 경로 조건에 대해 높은 분류 정확도를 달성하였으며, 예측 신뢰성 측면에서 기준 방법들을 크게 능가하였다.
• 정확한 일치가 아닌 학습된 패턴을 활용함으로써 심볼릭 실행 도중 제약 조건 해답기 호출 횟수를 줄여 분석 속도를 향상시켰다.
• Z3(최첨단 제약 조건 해답기)와 GreenTrie(선도적 재사용 프레임워크)보다 경로 조건의 만족 가능성 분류에서 더 높은 효율성을 보였다.
• 모델는 훈련 중에 보지 못한 경로 조건을 높은 정밀도로 분류할 수 있는 강력한 일반화 능력을 보였으며, 훈련 예제와 문법적으로 다를 경우에도 이를 충족하였다.
• DNN와 후속 대체 메커니즘의 통합은 정확성을 보장하여 DeepSolver가 실제 심볼릭 실행 파이프라인에 실용적으로 적용될 수 있도록 하였다.
• 평가 결과, 특히 경로 폭발이 심하고 반복적인 제약 조건 패턴이 많은 환경에서, DeepSolver는 기존 기법보다 심볼릭 실행 작업을 더 효과적으로 지원하는 것으로 나타났다.