[논문 리뷰] MCPA: Program Analysis as Machine Learning

Marcel Böhme|arXiv (Cornell University)|2019. 11. 12.

Software Reliability and Analysis Research인용 수 2

한 줄 요약

이 논문은 통계적 샘플링을 사용하여 프로그램 분석을 확률적-근사적(Probably-Approximately Correct, PAC) 학습 문제로 재구성하는 몬테카를로 프로그램 분석(MCPA)을 소개한다. 프로그램 실행을 몬테카를로 시험으로 간주함으로써 MCPA는 사용자가 정의한 오차 한계(ϵ)와 신뢰 수준(δ)을 바탕으로 분석 정확도에 대한 확률적 보장을 제공하며, 정밀도를 희생시키지 않는 방식으로 대규모 소프트웨어 시스템에 대해 확장 가능하고 오차가 제한된 분석을 가능하게 한다.

ABSTRACT

Static program analysis today takes an analytical approach which is quite suitable for a well-scoped system. Data- and control-flow is taken into account. Special cases such as pointers, procedures, and undefined behavior must be handled. A program is analyzed precisely on the statement level. However, the analytical approach is ill-equiped to handle implementations of complex, large-scale, heterogeneous software systems we see in the real world. Existing static analysis techniques that scale, trade correctness (i.e., soundness or completeness) for scalability and build on strong assumptions (e.g., language-specificity). Scalable static analysis are well-known to report errors that do *not* exist (false positives) or fail to report errors that *do* exist (false negatives). Then, how do we know the degree to which the analysis outcome is correct? In this paper, we propose an approach to scale-oblivious greybox program analysis with bounded error which applies efficient approximation schemes (FPRAS) from the foundations of machine learning: PAC learnability. Given two parameters $\delta$ and $\epsilon$, with probability at least $(1-\delta)$, our Monte Carlo Program Analysis (MCPA) approach produces an outcome that has an average error at most $\epsilon$. The parameters $\delta>0$ and $\epsilon>0$ can be chosen arbitrarily close to zero (0) such that the program analysis outcome is said to be probably-approximately correct (PAC). We demonstrate the pertinent concepts of MCPA using three applications: $(\epsilon,\delta)$-approximate quantitative analysis, $(\epsilon,\delta)$-approximate software verification, and $(\epsilon,\delta)$-approximate patch verification.

연구 동기 및 목표

• 대규모이고 복잡한 소프트웨어 시스템에서 정적 프로그램 분석의 확장성-정밀도 트레이드오프를 해결하기 위해.
• 기존의 타당성 또는 완전성 외에 분석 결과의 정확도를 공식적이고 정량적으로 측정할 수 있는 프레임워크를 제공하기 위해.
• 제3자 라이브러리, 정의되지 않은 동작, 리플렉션과 같은 동적 기능과 같은 실제 세계의 복잡성에 대해 내재적으로 강건한 확장 가능한 프로그램 분석을 가능하게 하기 위해.
• 정밀도나 완전성을 희생시키지만 그에 따른 트레이드오프를 정량적으로 측정하지 않는 기존의 확장 가능한 도구들에 대한 원칙적인 대안을 제공하기 위해.
• MCPA가 정량적 분석, 소프트웨어 검증, 패치 검증에 응용될 수 있음을 엄밀한 통계적 보장을 바탕으로 보여주기 위해.

제안 방법

• MCPA는 가설을 분석 결과로 간주하고 몬테카를로 시험을 별개의 프로그램 실행으로 간주함으로써 프로그램 분석을 PAC-학습 문제로 모델링한다.
• 분석 결과가 높은 확률과 제한된 오차로 프로그램 성질을 추정하기 위해 FPRAS(완전 다항 랜덤화 근사 체계)를 사용한다.
• 사용자가 정의한 ϵ>0 및 δ>0에 대해 분석 결과는 참값으로부터 ϵ 이내에 있으며 확률 최소 (1−δ)로 보장된다.
• 몬테카를로 시험은 실제 사용자 실행으로부터 추출되므로 분석이 분포 기반이며 확장 가능하다.
• 이 프레임워크는 버그 존재 여부와 같은 이진 성질과 메모리 사용량, 에너지 소비량과 같은 정량적 성질을 모두 지원한다.
• 통계적 가설 검정을 적용하여 (ϵ,δ) 보장을 바탕으로 패치 검증과 소프트웨어 버전 비교를 수행하며, 시뮬레이션에서 표준 A/B 테스트 방법보다 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 프로그램 분석을 PAC-학습 문제로 공식화할 수 있는가? 이를 통해 정확도에 대한 제한된 확률적 보장을 제공할 수 있는가?
• RQ2 타당성이나 완전성에 의존하지 않고 확장성과 정밀도 간의 트레이드오프를 어떻게 정량화할 수 있는가?
• RQ3 실제 사용자 실행의 몬테카를로 샘플링이 대규모 시스템에서 기존 정적 분석을 대체하거나 보완할 수 있는가?
• RQ4 패치 검증에서 MCPA는 피어슨의 정확 검정과 맨-휘트니 U 검정과 같은 표준 통계 테스트 방법보다 어떻게 비교되는가?
• RQ5 MCPA는 동일한 이론적 기반을 바탕으로 이진 성질과 정량적 성질 모두에 적용될 수 있는가?

주요 결과

• MCPA는 분석 결과가 평균 오차가 최대 ϵ 이내에 있도록 (1−δ) 확률 보장을 제공함으로써, 확률적-근사적(PAC) 프로그램 분석을 가능하게 한다.
• 시뮬레이션 결과, (ϵ,δ)-근사 패치 검증은 피어슨의 정확 검정과 맨-휘트니 U 검정보다 소프트웨어 동작의 의미 있는 차이를 탐지하는 데 뛰어난 성능을 보였다.
• 제한된 실행 샘플로도 높은 정확도를 달성하며, 일일 실행 수가 1000억 건이 넘는 시스템에서 ϵ=3.6×10−11까지 낮은 오차 한계를 입증하였다.
• OSS-Fuzz, 넷플릭스, 유튜브와 같은 시스템에서는 오차 한계가 10−10 이하인 99%-신뢰구간(CI)을 제공하여 높은 신뢰성을 나타냈다.
• 이 방법은 스케일에 민감하지 않고 분포 기반이며, 인위적이거나 이상화된 입력이 아닌 실제 사용자 워크로드에 의존한다.
• 이 프레임워크는 다수의 응용 분야로 일반화 가능하다: (ϵ,δ)-근사 정량적 분석, 소프트웨어 검증, 패치 검증 모두가 통일된 통계 기반에 기반한다.