[논문 리뷰] End-to-End Prediction of Buffer Overruns from Raw Source Code via Neural Memory Networks

Minje Choi, Sehun Jeong외 2명|arXiv (Cornell University)|2017. 03. 07.

Software Engineering Research참고 문헌 18인용 수 13

한 줄 요약

이 논문은 수동으로 만든 특징이나 언어에 특화된 규칙 없이 원시 소스 코드에서 직접 버퍼 오버런을 탐지하기 위해 메모리 네트워크를 사용하는 엔드 투 엔드 딥 러닝 접근법을 제안한다. 모델은 여러 단계에 걸쳐 관련 코드 라인에 주의를 기울이며 변수 값 추적, 수치 비교 및 코드 의미론적 추론을 학습한다. 다양한 코드 패턴에서 높은 정확도로 버퍼 오버런 취약성을 탐지한다.

ABSTRACT

Detecting buffer overruns from a source code is one of the most common and yet challenging tasks in program analysis. Current approaches have mainly relied on rigid rules and handcrafted features devised by a few experts, limiting themselves in terms of flexible applicability and robustness due to diverse bug patterns and characteristics existing in sophisticated real-world software programs. In this paper, we propose a novel, data-driven approach that is completely end-to-end without requiring any hand-crafted features, thus free from any program language-specific structural limitations. In particular, our approach leverages a recently proposed neural network model called memory networks that have shown the state-of-the-art performances mainly in question-answering tasks. Our experimental results using source codes demonstrate that our proposed model is capable of accurately detecting simple buffer overruns. We also present in-depth analyses on how a memory network can learn to understand the semantics in programming languages solely from raw source codes, such as tracing variables of interest, identifying numerical values, and performing their quantitative comparisons.

연구 동기 및 목표

• 수동으로 만든 특징이나 언어에 특화된 규칙에 의존하지 않는 데이터 기반의 엔드 투 엔드 접근법을 개발하여 소스 코드에서 버퍼 오버런을 탐지하는 것.
• 기존 정적 분석 및 표준 딥 러닝 모델(예: RNN, LSTM)이 코드 라인 간의 의미론적 데이터 흐름과 값 추적을 포착하는 데 한계가 있음을 극복하는 것.
• 메모리 네트워크가 숫자나 비교에 대해 명시적인 지도 없이도 원시 코드에서 수치 개념과 정량적 비교를 순수하게 학습할 수 있는지 조사하는 것.
• 메모리 네트워크가 버퍼 크기 비교와 같은 논리적 추론을 수행하여 버퍼 오버런 안전성을 판단할 수 있음을 보여주는 것.

제안 방법

• 모델은 외부 메모리 슬롯을 사용하여 소스 코드의 다양한 라인에서 정보를 저장하고 검색하는 메모리 네트워크 아키텍처를 사용한다.
• 다중 힙에 걸쳐 관련 메모리 슬롯을 선택하기 위해 주의 메커니즘을 적용하여 코드 세그먼트에 대한 단계적 추론을 가능하게 한다.
• 모델은 사전 언어학적 또는 문법적 특징 없이 원시 소스 코드를 토큰의 시퀀스로 처리하며, 엔드 투 엔드로 워드 임베딩을 학습한다.
• 수치 값은 학습 과정을 통해 암묵적으로 학습되며, 숫자에 대한 워드 임베딩은 벡터 공간에서 구조적이고 순차적인 표현을 형성한다.
• 모델은 다양한 버퍼 오버런 패턴을 포함하는 C 유사 소스 코드로 구성된 합성 데이터셋에서 훈련된다.
• 예측은 할당된 대상 버퍼의 크기와 strcpy 또는 유사 연산에서 유래된 소스 버퍼 크기를 비교하여 수행된다.

실험 결과

연구 질문

• RQ1 메모리 네트워크 모델은 수동으로 만든 특징이나 언어에 특화된 규칙 없이 원시 소스 코드에서 버퍼 오버런을 탐지할 수 있는가?
• RQ2 모델은 엔드 투 엔드 훈련을 통해 수치 비교를 수행하고 코드 라인 간 변수 값을 추적할 수 있는가?
• RQ3 모델의 주의 메커니즘이 다중 힙을 거쳐 관련 코드 세그먼트(예: 버퍼 할당)를 효과적으로 식별하고 검색하는가?
• RQ4 훈련 과정에서 숫자에 대한 워드 임베딩은 어떻게 진화하며, 의미 있는 수치적 관계를 반영하는가?

주요 결과

• 메모리 네트워크 모델은 모든 난이도 수준의 버퍼 오버런 탐지에서 표준 RNN 및 LSTM 베이스라인을 뛰어넘는 뛰어난 성능을 보였다.
• t-SNE 시각화와 코사인 유사도 패tern을 통해 모델이 숫자를 명확한 순차적 순서로 워드 임베딩으로 표현하는 것을 성공적으로 학습했다.
• 주의 메커니즘이 변수 사용을 코드 라인 간에 추적하는 데 기여하여, 먼저 대상 버퍼를 찾고, 그 다음 소스 버퍼를 찾고, 마지막으로 크기를 비교하는 데 성공했다.
• 모델는 수치 값이나 비교에 대해 명시적인 지도 없이도 버퍼 크기 간의 정량적 비교를 수행할 수 있었다.
• t-SNE 시각화에서 변수(예: 버퍼 및 정수)에 대한 워드 임베딩은 그 의미론적 역할에 따라 다르게 학습되었으며, 이는 분명한 군집 패턴으로 나타났다.
• 모델의 예측 신뢰도는 주의 경로의 정확성과 상관관계가 있었으며, 다중 힙을 거쳐 신뢰할 수 있는 추론을 수행한다는 것을 시사했다.