[논문 리뷰] Neural Code Comprehension: A Learnable Representation of Code Semantics

Tal Ben‐Nun, Alice Shoshana Jakobovits외 1명|arXiv (Cornell University)|2018. 06. 19.

Software Engineering Research인용 수 89

한 줄 요약

이 논문은 LLVM IR 문장에 대한 학습 가능한 임베딩 공간 inst2vec를 맥락 흐름 그래프(XFGs)를 사용해 소개합니다. 데이터- 및 제어-흐름을 결합하여 언어 간 및 작업 간 강력한 코드 의미 이해를 가능하게 하고, 무거운 파인튜닝 없이도 성능을 발휘합니다.

ABSTRACT

With the recent success of embeddings in natural language processing, research has been conducted into applying similar methods to code analysis. Most works attempt to process the code directly or use a syntactic tree representation, treating it like sentences written in a natural language. However, none of the existing methods are sufficient to comprehend program semantics robustly, due to structural features such as function calls, branching, and interchangeable order of statements. In this paper, we propose a novel processing technique to learn code semantics, and apply it to a variety of program analysis tasks. In particular, we stipulate that a robust distributional hypothesis of code applies to both human- and machine-generated programs. Following this hypothesis, we define an embedding space, inst2vec, based on an Intermediate Representation (IR) of the code that is independent of the source programming language. We provide a novel definition of contextual flow for this IR, leveraging both the underlying data- and control-flow of the program. We then analyze the embeddings qualitatively using analogies and clustering, and evaluate the learned representation on three different high-level tasks. We show that even without fine-tuning, a single RNN architecture and fixed inst2vec embeddings outperform specialized approaches for performance prediction (compute device mapping, optimal thread coarsening); and algorithm classification from raw code (104 classes), where we set a new state-of-the-art.

연구 동기 및 목표

• LLVM IR을 사용한 코드 문장의 언어 독립적이면서 의미 중심의 표현을 제안한다.
• 데이터 의존성과 실행 의존 정보를 통합하는 맥락 흐름 그래프(XFGs)를 정의한다.
• LLVM IR 문장에 대해 inst2vec 임베딩을 만들고 학습한다.
• 알고리즘 분류 및 디바이스/스레드 튜닝 예측을 포함한 코드 분석 작업에서 임베딩을 평가한다.

제안 방법

• 다양한 언어의 소스 코드를 SSA 형식의 LLVM IR로 변환하여 언어 독립적 표현을 얻는다.
• 데이터 의존성과 실행 의존 정보를 블록, 분기 및 함수 간에 인코딩하는 맥락 흐름 그래프(XFGs)를 구축한다.
• XFG에서 파생된 문장-맥락 쌍을 이용해 200차원 inst2vec 임베딩을 스킵그램으로 전처리 및 학습한다.
• 고정된 사전 학습 inst2vec 임베딩 매트를 다운스트림 작업의 입력으로 사용하는 이층 LSTM 네트워크를 활용한다.
• 세 가지 고수준 작업(알고리즘 분류, 이질적 컴퓨팅 디바이스 매핑, 스레드 코어싱 예측)에 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 언어에 의존하지 않는 IR 기반 임베딩 공간이 언어 간 코드 의미를 포착할 수 있는가?
• RQ2 맥락 흐름 그래프가 단순 데이터 흐름 또는 제어 흐름만으로는 얻지 못하는 임베딩 품질을 향상시키는가?
• RQ3 사전 학습된 inst2vec 임베딩이 파인 튜닝 없이도 고수준 코드 이해 작업에서 얼마나 잘 작동하는가?

주요 결과

• inst2vec 임베딩은 XFG 맥락에서 학습될 때 의미 있는 클러스터링과 유사성을 나타내며 CFG/DFG 만을 사용하는 표현보다 우수하다.
• 맥락 크기 2개의 문장이 의미 및 구문 유사성 및 거리 테스트에서 최적의 임베딩 품질을 보인다.
• 고정된 inst2vec 임베딩을 사용하는 RNN이 POJ-104 알고리즘 분류, 이질적 디바이스 매핑, 스레드 코어링 예측의 세 가지 작업에서 특화 모델과 동등하거나 우수한 성능을 보인다.
• POJ-104의 알고리즘 분류에서 inst2vec는 94.83%의 테스트 정확도를 달성하며, TBCNN 및 표면 특징 기반 기반선 등 기존 방법을 능가한다.
• 디바이스 매핑 및 스레드 코어링에서 inst2vec-imm(직접 값 포함)은 최상의 또는 경쟁력 있는 성능을 자주 보여 주목할 만한 STATE-OF-THE-ART 기반선에 근접하거나 이를 상회한다.