[논문 리뷰] Path-Based Function Embedding and its Application to Specification Mining

Daniel DeFreez, Aditya Thakur외 1명|arXiv (Cornell University)|2018. 02. 21.

Software Engineering Research참고 문헌 22인용 수 16

한 줄 요약

이 논문은 라벨된 스택 기반 시스템(ℓ-PDS)으로 표현된 코드 위에서 무작위 보행을 통해 문장을 생성함으로써 분산 함수 임베딩을 학습하는 신경망 기반 방법인 func2vec을 소개한다. 이 방법은 문법적으로 다를 수 있지만 의미적으로 유사한 함수들(함수 동의어)을 효과적으로 군집화하며, 리눅스 커널 기준 기준 데이터셋에서 정밀도 87%와 재현율 71%를 달성하고, 파일 시스템과 드라이버 전반에서 고지지 오류 처리 사양 추출을 가능하게 한다.

ABSTRACT

Identifying the relationships among program elements is useful for program understanding, debugging, and analysis. One such relationship is synonymy. Function synonyms are functions that play a similar role in code, e.g. functions that perform initialization for different device drivers, or functions that implement different symmetric-key encryption schemes. Function synonyms are not necessarily semantically equivalent and can be syntactically dissimilar; consequently, approaches for identifying code clones or functional equivalence cannot be used to identify them. This paper presents func2vec, an algorithm that maps each function to a vector in a vector space such that function synonyms are grouped together. We compute the function embedding by training a neural network on sentences generated from random walks over an encoding of the program as a labeled pushdown system (l-PDS). We demonstrate that func2vec is effective at identifying function synonyms in the Linux kernel. Furthermore, we show how function synonyms enable mining error-handling specifications with high support in Linux file systems and drivers.

연구 동기 및 목표

• 리눅스 커널과 같은 저수준 시스템 코드에서 이름 규칙이 신뢰할 수 없고, 문법적으로나 의미적으로 다를 수 있는 함수 동의어를 식별하는 데 도전하는 것.
• 이름이나 의미적 동치성에 대한 사전 지식 없이 계층적 프로그램 구조를 포착하는 스케일러블하고 비지도 학습 기반의 함수 임베딩 학습 방법을 개발하는 것.
• 다양한 구현 간 함수 동의어를 활용하여 오류 처리 사양을 통합함으로써 리눅스에서의 사양 추출 지원도 증가시키는 것.
• 기존 접근 방식이 오류 경로의 발생 빈도가 낮아 실패하는 대규모 저수준 코드베이스에서 함수 임베딩이 사양 추출을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 프로그램을 라벨된 스택 기반 시스템(ℓ-PDS)으로 표현하며, 노드는 프로그램 요소(함수, 명령어, 타입, 오류 코드)를 나타내고, 간선은 의미적 유형으로 레이블링된다.
• ℓ-PDS 위에서 무작위 보행을 수행하여 레이블 시퀀스를 생성하고, 이를 신경망 훈련을 위한 문장으로 간주한다.
• word2vec에 영감을 받은 스킵그램 모델을 사용해 이 레이블 시퀀스를 훈련하여 300차원 공간에서 함수의 조밀한 벡터 표현(임베딩)을 학습한다.
• t-SNE를 사용해 학습된 R³⁰⁰ 임베딩을 2차원으로 투영하여 시각화 및 군집 분석을 수행한다.
• 학습된 임베딩을 활용해 함수 벡터 간 코사인 유사도를 측정함으로써 함수 동의어를 식별한다.
• 식별된 함수 동의어를 활용해 다양한 구현 간 오류 처리 패턴을 통합함으로써, 더 높은 지지도를 가지는 구현 간 사양 추출을 가능하게 한다.

실험 결과

연구 질문

• RQ1 라벨된 스택 기반 시스템 위에서 무작위 보행을 기반으로 훈련된 신경망이 리눅스 커널과 같은 대규모 저수준 시스템 코드에서 함수 동의어를 효과적으로 군집화할 수 있는가?
• RQ2 수동으로 정제된 기준 데이터셋과 비교했을 때 func2vec의 함수 동의어 식별 정확도와 재현율은 어느 정도인가?
• RQ3 func2vec에서 유도된 함수 임베딩은 리눅스 파일 시스템과 드라이버에서 추출된 오류 처리 사양의 지지도와 품질을 향상시킬 수 있는가?
• RQ4 의미적으로 유사한 함수들 간에 희귀 오류 처리 패턴을 집계함으로써 func2vec이 사양 추출에서 거짓 양성(false positive)을 얼마나 줄일 수 있는가?

주요 결과

• 수동으로 정제된 683개 리눅스 커널 함수로 구성된 기준 데이터셋에서 func2vec은 함수 동의어 식별에 대해 정밀도 87%와 재현율 71%를 달성했다.
• t-SNE 투영을 통해 시각화한 결과, func2vec은 리눅스 커널 내에서 함수 동의어를 의미적 역할(예: probe, open, free) 기반으로 성공적으로 군집화했다.
• 다양한 구현 간 함수 동의어를 식별함으로써 func2vec은 개별 구현에서 가능했던 것보다 훨씬 높은 지지도를 가지는 구현 간 오류 처리 사양 추출을 가능하게 했다.
• 5개 리눅스 파일 시스템과 48개 장치 드라이버에 대한 평가 결과, func2vec을 사용할 경우 추출된 오류 처리 사양의 품질과 신뢰성이 향상됨을 확인했다.
• func2vec은 리눅스 커널(200만 줄)과 같은 대규모 시스템 코드에 신경망 기반 함수 임베딩을 적용한 최초의 기법으로, 확장성과 효과성을 입증했다.
• 기존의 정상 실행 경로나 고립된 오류 추적에 의존하는 전통적 사양 추출 기법보다 특히 희귀하거나 구현에 특화된 오류 처리 패턴에 대해 뛰어난 성능을 보였다.