[논문 리뷰] Finding Likely Errors with Bayesian Specifications

Vijayaraghavan Murali, Swarat Chaudhuri외 1명|arXiv (Cornell University)|2017. 03. 04.

Software Engineering Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 대규모 이질적 코드 컬렉션에서 은닉 사양과 문법적 특징의 결합 분포를 모델링하여 확률적 사양을 학습하는 베이지안 프레임워크를 제안한다. 이 모델을 프로그램의 특징에 조건화하여 관련 사양에 대한 사후 분포를 도출함으로써, 이는 안드로이드 앱에서 이상적인 API 사용을 정확하고 고정밀도로 탐지할 수 있게 하며, 이는 이전의 확률적 방법들보다 재현율과 정밀도에서 뛰어나다.

ABSTRACT

We present a Bayesian framework for learning probabilistic specifications from large, unstructured code corpora, and a method to use this framework to statically detect anomalous, hence likely buggy, program behavior. The distinctive insight here is to build a statistical model that correlates all specifications hidden inside a corpus with the syntax and observed behavior of programs that implement these specifications. During the analysis of a particular program, this model is conditioned into a posterior distribution that prioritizes specifications that are relevant to this program. This allows accurate program analysis even if the corpus is highly heterogeneous. The problem of finding anomalies is now framed quantitatively, as a problem of computing a distance between a "reference distribution" over program behaviors that our model expects from the program, and the distribution over behaviors that the program actually produces. We present a concrete embodiment of our framework that combines a topic model and a neural network model to learn specifications, and queries the learned models to compute anomaly scores. We evaluate this implementation on the task of detecting anomalous usage of Android APIs. Our encouraging experimental results show that the method can automatically discover subtle errors in Android applications in the wild, and has high precision and recall compared to competing probabilistic approaches.

연구 동기 및 목표

• 노이즈가 많고 이질적인 코드 컬렉션에서 강건하고 일반화 가능한 프로그램 사양을 학습하는 데 도전하는 것.
• 소음에 취약하고 다중 사용 패턴을 처리할 수 없는 전통적인 정성적 사양의 한계를 극복하는 것.
• 학습된 맥락 기반 사용 패턴에서의 확률적 이탈로 프로그램 동작을 모델링하여 정적 버그 탐지의 정확성을 높이는 것.
• 수동으로 정확성 성질을 명시할 필요가 없는 확장 가능한 방법을 개발하는 것.
• 프로그램 고유의 특징에 통합 모델을 조건화하여 관련 사용 패턴을 우선순위화함으로써 이상 탐지 성능을 향상시키는 것.

제안 방법

• 프레임워크는 Ψ가 은닉 사양을, X가 코드의 문법적 특징을 나타내는 결합 확률 모델 P(Ψ, X)를 학습한다.
• 베이즈의 정리를 사용하여 P(Ψ|X_F) — 목표 프로그램 F의 특징 X_F에 조건화된 사양에 대한 사후 분포 — 를 계산함으로써 관련 사용 패턴에 집중한다.
• 주제 모델을 사용하여 컬렉션 내 API 호출 시퀀스에서 잠재 사양 클러스터를 발견한다.
• 순환 신경망(RNN)은 주어진 사양 Ψ에 대해 관측된 API 호출 시퀀스 θ의 조건부 확률 P(θ|Ψ)를 모델링한다.
• 이상 점수는 사후 분포에서 유도된 기대 동작 분포와 실제 프로그램 동작 간의 쿨백-라이블러 발산(Kullback-Leibler divergence)으로 계산된다.
• 주제 모델링과 RNN을 조합하여 프로그램 동작의 계층적이고 맥락 인식 가능한 모델을 학습한다.

실험 결과

연구 질문

• RQ1 단일 확률 모델이 대규모 코드 컬렉션 내에서 다양한 맥락 기반 API 사용 패턴을 효과적으로 표현할 수 있는가?
• RQ2 프로그램 고유의 문법적 특징에 모델을 조건화하여 버그 탐지의 관련성과 정확도를 향상시킬 수 있는가?
• RQ3 베이지안 프레임워크가 실제 세계의 미세한 API 오용을 탐지하는 데 기존의 확률적 모델을 능가할 수 있는가?
• RQ4 이 프레임워크는 대규모 비정형 코드 컬렉션의 노이즈와 이질성에 얼마나 견딜 수 있는가?
• RQ5 사양 다양성에 대한 사전 가정 없이도 이 방법이 거대한 코드베이스에 어떻게 스케일링되는가?

주요 결과

• 이 프레임워크는 이상적인 안드로이드 API 사용을 탐지하는 데 높은 정밀도와 재현율을 달성하며, 경쟁 확률적 접근 방식을 능가한다.
• 이 방법은 기존 기술로는 포착하기 어려운 미세한 실제 세계의 버그를 생산용 안드로이드 애플리케이션에서 성공적으로 식별한다.
• 모델을 프로그램 고유의 특징에 조건화함으로써, 흔하지 않은 사용 패턴이지만 정상적인 경우의 낮은 가능도 점수 문제를 피한다.
• 주제 모델링과 RNN의 조합은 단일 컬렉션 내에서 여러 개의 별개의 사용 패턴을 효과적으로 발견할 수 있게 한다.
• 이 방법은 빈도와 맥락에 기반한 가능도를 부여하므로 노이즈에 강건하다. 이는 이분법적 정확성 기준이 아니기 때문이다.
• 이 프레임워크는 원칙적으로 매우 대규모 코드 컬렉션, 심지어 공개 가능한 모든 코드를 포함한 코드베이스에도 스케일링 가능하다.