[논문 리뷰] TreeCaps: Tree-Based Capsule Networks for Source Code Processing

Nghi D. Q. Bui, Yijun Yu외 1명|arXiv (Cornell University)|2020. 09. 05.

Software Engineering Research참고 문헌 46인용 수 7

한 줄 요약

TreeCaps는 추상 구문 트리(ASP)에서 직접 소스 코드 표현을 학습하기 위해 트리 기반 합성곱 신경망(TBCNN)과 캡슐 라우팅을 결합한 혁신적인 캡슐 네트워크 아키텍처를 제안한다. 이는 노이즈가 많은 기반 그래프 기반 의미 분석을 피한다. Java 및 C/C++ 프로그램에서 코드 기능 분류와 함수 이름 예측 작업에서 기존 모델인 Code2vec, GGNN, GREAT보다 최고의 정확도와 강건성을 달성한다.

ABSTRACT

Recently program learning techniques have been proposed to process source code based on syntactical structures (e.g., Abstract Syntax Trees) and/or semantic information (e.g., Dependency Graphs). Although graphs may be better at capturing various viewpoints of code semantics than trees, constructing graph inputs from code needs static code semantic analysis that may not be accurate and introduces noise during learning. Although syntax trees are precisely defined according to the language grammar and easier to construct and process than graphs, previous tree-based learning techniques have not been able to learn semantic information from trees to achieve better accuracy than graph-based techniques. We propose a new learning technique, named TreeCaps, by fusing together capsule networks with tree-based convolutional neural networks, to achieve learning accuracy higher than existing graph-based techniques while it is based only on trees. TreeCaps introduces novel variable-to-static routing algorithms into the capsule networks to compensate for the loss of previous routing algorithms. Aside from accuracy, we also find that TreeCaps is the most robust to withstand those semantic-preserving program transformations that change code syntax without modifying the semantics. Evaluated on a large number of Java and C/C++ programs, TreeCaps models outperform prior deep learning models of program source code, in terms of both accuracy and robustness for program comprehension tasks such as code functionality classification and function name prediction

연구 동기 및 목표

• 기반 그래프 기반 의미 분석의 노이즈와 복잡성을 피하는 딥 러닝 모델을 개발하여 소스 코드 이해를 향상시키는 것.
• 추상 구문 트리(ASP)의 정밀한 구조를 활용하여 프로그램 이해 작업에서 학습 정확도와 강건성을 향상시키는 것.
• 변동하는 크기의 AST에 적용할 때 캡슐 네트워크의 동적 캡슐 수 문제를 해결하기 위해 새로운 라우팅 메커니즘을 도입하는 것.
• 의미 유지 변환(semantic-preserving code transformations)을 통해 시뮬레이션된 대비 공격에 대한 모델 성능과 강건성 평가를 수행하는 것.

제안 방법

• AST에서 국소 노드 특징을 추출하기 위해 트리 기반 합성곱 신경망(TBCNN)을 적용하여 가변 크기의 캡슐 출력을 생성한다.
• 입력 AST의 구조에 따라 동적으로 캡슐 수를 결정하는 Primary Variable Capsule(PVC) 레이어를 도입한다.
• 두 가지 라우팅 알고리즘을 제안한다: (1) 공유 가중치를 사용한 동적 라우팅(DRSW), 및 (2) 상위 활성화 캡슐을 선택하여 고정된 수의 2차 캡슐로 매핑하는 새로운 Variable-to-Static(VTS) 라우팅.
• 고정된 수의 캡슐을 갖는 최종 코드 캡슐(CC) 레이어까지 동적 라우팅을 적용하며, 이는 분류 작업에 맞게 설정된다.
• DRSW에서는 공유 전환 행렬을 사용하고, VTS에서는 선택적 주의 메커니즘을 적용하여 라우팅 효율성과 표현 학습을 향상시킨다.
• 코드 분류 및 함수 이름 예측 작업을 위한 엔드 투 엔드 학습을 위해 마진 기반 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 기반 그래프 기반 의미 의존성에 의존하지 않고 캡슐 네트워크 아키텍처가 AST에서 효과적으로 학습할 수 있는가?
• RQ2 제안된 VTS 라우팅 메커니즘이 표준 동적 라우팅 대비 수렴 속도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 기존 모델 대비 TreeCaps는 의미 유지 변환에 대해 예측 일관성 유지 정도가 어느 정도인가?
• RQ4 Code2vec, GGNN, GREAT과 같은 최첨단 모델 대비 TreeCaps는 코드 기능 분류 및 함수 이름 예측에서 뛰어난 성능을 내는가?
• RQ5 모델의 강건성은 문법적으로 수정되었지만 의미적으로 동일한 코드에 대해 일반화 능력과 어떻게 연관되어 있는가?

주요 결과

• TreeCaps는 코드 기능 분류 및 함수 이름 예측 작업에서 Code2vec, ASTNN, TBCNN, GGNN, GREAT, GNN-FiLM보다 높은 정확도와 F1 점수를 기록한다.
• VTS 라우팅 알고리즘은 DRSW보다 더 빠른 수렴 속도와 더 높은 검증 정확도를 달성했으며, 이는 파rameter 수가 적고 라우팅 과정이 더 집중되어 있기 때문일 것이다.
• TreeCaps-VTS는 의미 유지 변환 하에서 예측 변경 비율(PPC)이 가장 낮아, 테스트된 모델 중 가장 강건한 성능 보여줌 — OJ 데이터셋 기준 12.3%에 불과.
• 자바 및 C/C++ 다양한 코드베이스에서 높은 성능 유지하여 프로그래밍 언어 간 강력한 일반화 능력을 입증함.
• GREAT 대비 F1 점수와 학습 시간 모두에서 뛰어난 성능 보이며, 단지 AST만을 사용함에도 불구하고 더 뛰어난 효율성과 표현 학습 능력을 보임.
• 모델의 강건성은 코드 오브스큐레이션 및 대비 예외를 탐지하거나 저항하는 데 있어 강력한 잠재력을 지니고 있음.