[논문 리뷰] TBCNN: A Tree-Based Convolutional Neural Network for Programming Language Processing.

Lili Mou, Ge Li외 3명|arXiv (Cornell University)|2014. 09. 18.

Topic Modeling참고 문헌 22인용 수 63

한 줄 요약

이 논문은 프로그래밍 언어 처리를 위한 프로그램 벡터 표현을 학습하기 위해 추상 구문 트리(abstract syntax trees, ASTs)를 활용하는 트리 기반 합성곱 신경망(TBCNN)을 제안한다. 트리 구조의 합성곱 및 풀링 기법을 적용함으로써 TBCNN은 코드의 구조적 특징을 효과적으로 포착하여 기존의 기준 모델들에 비해 프로그램 분류 성능에서 뛰어난 성과를 거두며, 딥 러닝을 프로그래밍 언어 분석에 적용하는 데 있어 기초적인 단계를 마련한다.

ABSTRACT

Deep neural networks have made significant breakthroughs in many fields of artificial intelligence. However, it has not been applied in the field of programming language processing. In this paper, we propose the tree-based convolutional neural network (TBCNN) to model programming languages, which contain rich and explicit structural information. In our model, program vector representations are learned by the pretraining criterion based on abstract syntax trees (ASTs); the convolutional layer explicitly captures neighboring features on the tree; with the binary continuous tree and 3-way pooling, our model can deal with ASTs of different shapes and sizes.We evaluate the program vector representations empirically, showing that the coding criterion successfully captures underlying features of AST nodes, and that program vector representations significantly speed up supervised learning. We also compare TBCNN to baseline methods; our model achieves better accuracy in the task of program classification. To our best knowledge, this paper is the first to analyze programs with deep neural networks; we extend the scope of deep learning to the field of programming language processing. The experimental results validate its feasibility; they also show a promising future of this new research area.

연구 동기 및 목표

• 딥 러닝의 프로그래밍 언어 처리 분야 응용 부족 문제를 해결하기 위해 새로운 신경망 아키텍처를 제안한다.
• 특히 추상 구문 트리(abstract syntax trees, ASTs)를 활용하여 프로그래밍 언어의 본질적인 구조적 정보를 모델링한다. AST는 풍부한 구문 관계를 인코딩한다.
• AST의 구조에 기반한 사전학습 기준을 통해 효과적인 프로그램 벡터 표현을 학습한다.
• 컴act하고 정보가 풍부한 프로그램 임베딩을 학습함으로써 코드에서 효율적이고 정확한 지도 학습을 가능하게 한다.
• 딥 러닝 기반 신경망이 프로그래밍 언어 분석에 적용 가능한지의 타당성과 효과성을 입증함으로써, 딥 러닝을 새로운 영역으로 확장한다.

제안 방법

• TBCNN는 추상 구문 트리(abstract syntax trees, ASTs)를 입력으로 받아 트리 노드에서 합성곱 연산을 통해 국소적인 구조적 패턴을 포착하는 트리 기반 합성곱 아키텍처를 사용한다.
• 모델은 AST 노드의 문맥적 구조와 계층적 구조를 활용하여 의미 있는 벡터 표현을 학습하기 위해 사전학습 기준을 사용한다.
• 다양한 크기와 형태를 가진 AST를 일관되게 처리하기 위해 이진 연속 트리 구조를 사용하여 AST를 정규화한다.
• 3방향 풀링을 적용하여 하위 트리의 특징을 집계함으로써 구조적 정보를 유지하면서 차원을 감소시킨다.
• 합성곱 레이어는 트리에서 인접한 특징을 명시적으로 모델링하여 프로그램 이해에 핵심적인 국소적 구문 패턴을 포착한다.
• 최종 표현은 계층적 풀링을 통해 유도되며, 전체 프로그램의 구조적 및 의미적 특징을 담은 고정 크기의 벡터를 생성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 신경망은 추상 구문 트리(abstract syntax trees, ASTs)를 활용해 프로그래밍 언어의 구조적 및 의미적 특징을 효과적으로 모델링할 수 있는가?
• RQ2 기존 방법에 비해 트리 기반 합성곱 네트워크는 AST에서 의미 있는 프로그램 벡터 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 제안된 TBCNN 아키텍처는 기존 기준 모델들에 비해 프로그램 분류와 같은 후행 작업에서 성능 향상을 이룰 수 있는가?
• RQ4 AST의 구조에 기반한 사전학습이 학습된 프로그램 임베딩의 품질을 얼마나 향상시키는가?
• RQ5 트리 구조의 딥 러닝 모델은 크기와 문법적 복잡도가 다른 프로그램 간에도 일반화할 수 있는가?

주요 결과

• 사전학습 기준이 AST 노드의 잠재적 구조적 및 의미적 특징을 성공적으로 포착하여 더 정보가 풍부한 프로그램 벡터 표현을 생성한다.
• TBCNN가 학습한 프로그램 벡터 표현은 컴act하고 고품질의 임베딩을 제공함으로써 지도 학습 작업의 속도를 크게 향상시킨다.
• 프로그램 분류 작업에서 기존 기준 모델들에 비해 더 높은 정확도를 달성하여 모델의 효과성을 입증한다.
• 이진 연속 트리와 3방향 풀링의 사용 덕분에 TBCNN은 다양한 형태와 크기의 AST를 성능 저하 없이 처리할 수 있다.
• 실증적 평가를 통해 TBCNN이 프로그래밍 언어 처리에 타당하고 효과적임을 확인하였으며, 이 분야의 향후 연구에 유망한 기반을 마련한다.