[논문 리뷰] Convolutional Neural Networks over Tree Structures for Programming Language Processing

Lili Mou, Ge Li외 3명|arXiv (Cornell University)|2014. 09. 18.

Software Engineering Research참고 문헌 30인용 수 295

한 줄 요약

이 논문은 프로그래밍 언어 처리를 위해 추상 구문 트리(abstract syntax trees, ASTs)를 활용하여 코드 내 풍부한 구조적 정보를 포착하는 트리 기반 합성곱 신경망(Tree-Based Convolutional Neural Networks, TBCNN)을 제안한다. 이 모델은 연속 이진 트리와 동적 풀링을 사용하여 다양한 크기의 트리를 처리하며, 프로그램 분류 및 패턴 탐지 과제에서 최신 기술 수준의 성능을 달성하여 기존의 NLP 모델과 기본 신경망 방법보다 핵심 과제에서 10% 이상 뛰어나다.

ABSTRACT

Programming language processing (similar to natural language processing) is a hot research topic in the field of software engineering; it has also aroused growing interest in the artificial intelligence community. However, different from a natural language sentence, a program contains rich, explicit, and complicated structural information. Hence, traditional NLP models may be inappropriate for programs. In this paper, we propose a novel tree-based convolutional neural network (TBCNN) for programming language processing, in which a convolution kernel is designed over programs' abstract syntax trees to capture structural information. TBCNN is a generic architecture for programming language processing; our experiments show its effectiveness in two different program analysis tasks: classifying programs according to functionality, and detecting code snippets of certain patterns. TBCNN outperforms baseline methods, including several neural models for NLP.

연구 동기 및 목표

• 프로그래밍 언어에 내재된 명시적이고 복잡한 구조적 정보를 처리하는 데에 기존의 NLP 모델이 가지는 한계를 해결하기 위해.
• 소스 코드의 문법적 및 의미적 구조를 효과적으로 포착할 수 있는 일반적인 딥러닝 아키텍처를 개발하기 위해.
• 신경망 기반 프로그램 분석에서 크기와 형태가 다양한 추상 구문 트리(abstract syntax trees)가 초래하는 과제를 극복하기 위해.
• 트리 구조 합성곱 네트워크가 실제 소프트웨어 공학 과제에서 얼마나 효과적인지 입증하기 위해.

제안 방법

• TBCNN 모델은 프로그램의 추상 구문 트리(abstract syntax trees, ASTs)를 구성하고, 트리 구조 표현에 대해 합성곱 커널을 적용하여 처리한다.
• 자식 노드의 수가 다양할 경우와 자식 노드 순서를 유지할 수 있도록 연속 이진 트리 구조를 도입한다.
• 다양한 크기와 형태를 가진 트리에서 특징을 집계하기 위해 동적 풀링을 적용하여, 다양한 프로그램 구조 간의 일반화를 가능하게 한다.
• 전이 학습된 임베딩과 구조적 맥락을 결합함으로써 노드 표현을 학습함으로써 특징의 표현력을 향상시킨다.
• 특징 집계가 성능에 미치는 영향을 평가하기 위해 1-way 및 3-way 풀링 전략을 사용한다.
• 자식 노드 순서를 유지하는 것이 중요한지 평가하기 위해 연속 백의 단어(continuous bag-of-words, CBoW) 기반 모델을 비교 기준으로 사용한다.

실험 결과

연구 질문

• RQ1 트리 구조 합성곱 신경망은 소스 코드의 문법적 및 의미적 특징을 효과적으로 포착할 수 있는가?
• RQ2 AST에서 자식 노드의 순서를 유지하는 것이 프로그램 분석 과제에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 동적 풀링이 크기와 형태가 다른 AST 간의 일반화를 얼마나 향상시키는가?
• RQ4 TBCNN은 프로그램 분류 및 패턴 탐지 과제에서 기존의 백의 단어 및 백의 트리 기반 모델보다 어떻게 비교되는가?
• RQ5 연속 이진 트리를 통해 구조적 인덕티브 바이어스를 통합하면, 표준 풀링 또는 평균화 전략 대비 성능 향상이 이루어지는가?

주요 결과

• TBCNN는 버블 정렬 패턴 탐지에서 검증 정확도 94.4%를 달성하여 백의 단어 기반 모델(62.3%)과 백의 트리 모델(77.06%)보다 뚜렷이 뛰어났다.
• 전역적인 구조적 맥락을 통합하는 코딩 레이어를 포함시킴으로써, 전이 학습된 노드 임베딩에 직접 합성곱을 적용한 경우 대비 성능이 2% 향상되었다.
• 600차원의 합성곱 레이어를 사용할 경우 검증 정확도가 가장 높았으며, 이는 풍부한 구조적 의미를 포착하기 위해 많은 수의 특징 검출기가 필요함을 시사한다.
• 1-way 풀링이 3-way 풀링과 동일하거나 略적으로 더 우수한 성능을 보였으며, 이는 TBCNN가 풀링 전략 선택에 대해 강건함을 시사한다.
• 연속 이진 트리 구조를 도입함으로써 CBoW 기반 모델 대비 성능이 1.3% 향상되었으며, 자식 노드 순서 유지의 중요성을 입증한다.
• TBCNN는 프로그램 분류 및 패턴 탐지 과제에서 순환 신경망 및 기타 NLP 기반 모델을 모두 능가하여 프로그래밍 언어 처리 분야에서 딥러닝의 새로운 최신 기술 수준을 확립했다.