[논문 리뷰] Building Program Vector Representations for Deep Learning

Lili Mou, Ge Li외 5명|arXiv (Cornell University)|2014. 09. 11.

Software Engineering Research참고 문헌 47인용 수 13

한 줄 요약

이 논문은 프로그램의 추상구문트리(_AST_) 노드에 대한 조밀한 벡터 표현을 생성하기 위해 새로운 '코딩 기준'을 제안한다. 이는 프로그램 분석을 위한 딥러닝을 가능하게 한다. AST에서 학습을 수행하고 이러한 학습된 벡터를 입력으로 사용함으로써, 기존의 기계학습 모델보다 높은 분류 정확도를 달성하며, 딥러닝이 프로그램 분석에 적용될 수 있음을 입증한다.

ABSTRACT

Deep learning has made significant breakthroughs in various fields of artificial intelligence. Advantages of deep learning include the ability to capture highly complicated features, weak involvement of human engineering, etc. However, it is still virtually impossible to use deep learning to analyze programs since deep architectures cannot be trained effectively with pure back propagation. In this pioneering paper, we propose the "coding criterion" to build program vector representations, which are the premise of deep learning for program analysis. Our representation learning approach directly makes deep learning a reality in this new field. We evaluate the learned vector representations both qualitatively and quantitatively. We conclude, based on the experiments, the coding criterion is successful in building program representations. To evaluate whether deep learning is beneficial for program analysis, we feed the representations to deep neural networks, and achieve higher accuracy in the program classification task than "shallow" methods, such as logistic regression and the support vector machine. This result confirms the feasibility of deep learning to analyze programs. It also gives primary evidence of its success in this new field. We believe deep learning will become an outstanding technique for program analysis in the near future.

연구 동기 및 목표

• 프로그램 구조의 효과적인 벡터 표현을 생성함으로써 프로그램 분석을 위한 딥러닝을 가능하게 하기 위해.
• 적절한 사전학습 및 특징 표현이 부족하여 프로그램에 대해 딥 네트워크를 학습시키는 데 어려움이 있다는 문제를 해결하기 위해.
• 딥러닝이 전통적인 기계학습 방법(예: SVM, 로지스틱 회귀)보다 프로그램 분류 작업에서 더 나은 성능을 내는지 평가하기 위해.
• 코드, 데이터셋, 학습된 표현을 공개함으로써 오픈 과학을 촉진하고 신경망 기반 프로그램 분석 분야의 연구를 가속화하기 위해.

제안 방법

• 구문적 및 맥락적 특징을 바탕으로 AST 노드(예: ID, 상수)에 대한 실수값 벡터 표현을 학습하기 위한 '코딩 기준'을 제안한다.
• 전방향 신경망을 사용하여 엔드 투 엔드 학습을 통해 이러한 표현을 학습하며, AST를 노드의 시퀀스로 간주한다.
• 백프로파게이션을 적용하여 벡터 임베딩을 최적화함으로써, 네트워크가 코드 내의 의미적 및 구조적 관계를 포착할 수 있도록 한다.
• 학습된 벡터 표현을 딥러닝 네트워크의 입력으로 사용하여 프로그램 분류와 같은 후속 작업을 수행한다.
• 컴퓨터 비전에서 영감을 얻은 2차원적 코드 표현 관점(예: 들여쓰기와 줄 바꿈을 구조적 신호로 모델링)을 도입한다.
• 특정 도메인의 사전 지식(예: 트리 구조, 국소 패턴)을 신경망 아키텍처에 통합하는 것을 탐색하며, 트리 기반의 CNN(TCNN)과 같은 방법을 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝을 위한 프로그램 AST 노드의 효과적인 벡터 표현을 학습시킬 수 있는가?
• RQ2 제안된 코딩 기준이 AST 노드 간의 의미적 및 구조적 관계를 성공적으로 포착하는가?
• RQ3 학습된 표현을 기반으로 하는 딥 네트워크가 전통적인 '얕은' 모델(SVM, 로지스틱 회귀 등)보다 프로그램 분류에서 더 나은 성능을 내는가?
• RQ4 프로그래밍 구조에 대한 인간의 사전 지식(예: 구문 트리, 들여쓰기)을 딥러닝 아키텍처에 효과적으로 통합할 수 있는가?
• RQ5 딥러닝이 클론 탐지, 버그 탐지와 같은 프로그램 분석의 광범위한 응용 분야에 대해 실현 가능하고 잠재력이 있는가?

주요 결과

• 코딩 기준은 AST 노드 간의 의미적 및 구조적 관계를 포착하는 데 성공적으로 벡터 표현을 생성한다.
• 학습된 벡터 표현은 딥러닝 네트워크의 최적화 및 일반화 성능을 크게 향상시킨다.
• 학습된 표현을 입력으로 사용한 딥 네트워크는 로지스틱 회귀나 SVM과 같은 전통적인 기계학습 모델보다 더 높은 분류 정확도를 달성한다.
• 실험 결과는 딥러닝을 프로그램 분석에 적용하는 것이 실현 가능하며, 이 분야에서의 성공에 대한 주요 증거를 제공한다.
• qualitative 및 quantitative 양면에서 검증된 바에 따르면, 이러한 벡터 표현은 프로그램 유사성과 관계를 효과적으로 모델링할 수 있다.
• 코드, 데이터셋, 학습된 표현을 오픈소스로 제공함으로써, 향후 뉴럴 프로그램 분석 분야의 연구를 가속화할 것으로 기대된다.