[논문 리뷰] TreeCaps: Tree-Structured Capsule Networks for Program Source Code Processing

Vinoj Jayasundara, Nghi D. Q. Bui외 2명|arXiv (Cornell University)|2019. 10. 27.

Software Engineering Research인용 수 9

한 줄 요약

이 논문은 프로그램 소스 코드를 추상 구문 트리(abstract syntax trees, ASTs)를 사용하여 구문적 구조와 장거리 의미적 의존성을 모두 포착할 수 있도록 설계된 새로운 트리 구조 캡슐 네트워크인 TreeCaps를 제안한다. 주요 변수 캡슐(primary variable capsule, PVC) 및 정적 캡슐(primary static capsule, PSC) 레이어와 새로운 변수-정적 라우팅 알고리즘을 도입함으로써, TreeCaps는 여러 프로그래밍 언어에서 프로그램 功能 분류 작업에서 최신 기술 수준의 성능을 달성하며, TBCNNs, GGNNs, ASTNNs를 상당한 격차로 앞서기까지 한다.

ABSTRACT

Program comprehension is a fundamental task in software development and maintenance processes. Software developers often need to understand a large amount of existing code before they can develop new features or fix bugs in existing programs. Being able to process programming language code automatically and provide summaries of code functionality accurately can significantly help developers to reduce time spent in code navigation and understanding, and thus increase productivity. Different from natural language articles, source code in programming languages often follows rigid syntactical structures and there can exist dependencies among code elements that are located far away from each other through complex control flows and data flows. Existing studies on tree-based convolutional neural networks (TBCNN) and gated graph neural networks (GGNN) are not able to capture essential semantic dependencies among code elements accurately. In this paper, we propose novel tree-based capsule networks (TreeCaps) and relevant techniques for processing program code in an automated way that encodes code syntactical structures and captures code dependencies more accurately. Based on evaluation on programs written in different programming languages, we show that our TreeCaps-based approach can outperform other approaches in classifying the functionalities of many programs.

연구 동기 및 목표

• 기존 모델인 TBCNNs와 GGNNs가 소스 코드의 장거리 의존성과 의미 관계를 포착하는 데에 한계가 있음을 해결하고자 한다.
• 계층적이고 공간적인 관계를 유지할 수 있도록 트리 구조 AST에 특화된 캡슐 네트워크 아키텍처를 개발하고자 한다.
• 수동으로 추가된 간선이나 AST 분해에 의존하지 않고도 구문적 구조와 복잡한 코드 의존성을 모델링함으로써 프로그램 기능 분류 정확도를 향상시키고자 한다.
• 변수-정적 라우팅과 추가 캡슐 레이어와 같은 새로운 구성 요소의 효과를 평가하고자 한다.

제안 방법

• TreeCaps는 추상 구문 트리(abstract syntax trees, ASTs)를 입력으로 사용하며, 크기가 변하는 코드 트리 처리를 위해 주요 변수 캡슐(primary variable capsule, PVC) 및 주요 정적 캡슐(primary static capsule, PSC) 레이어를 도입한다.
• 새로운 변수-정적 라우팅 알고리즘은 가변 수의 캡슐을 고정된 수의 정적 캡슐로 동적으로 라우팅함으로써 먼 거리에 있는 코드 요소 간의 의미적 의존성을 유지한다.
• 캡슐 레이어 간의 동적 라우팅을 통해 계층적 표현을 학습하며, 라우팅 결정은 캡슐 간의 주의 기반 유사성에 기반한다.
• 최종 코드 캡슐(code capsule, CC) 레이어는 분류를 위해 고정된 차원의 잠재 표현을 생성하며, 인스턴티에이션 파rameter는 최적의 의미 인코딩을 위해 조정된다.
• 캡슐 라우팅을 통해 종단 간으로 의존성을 학습함으로써 명시적 의존성 그래프 구축을 피함으로써 히우리스틱적으로 추가된 간선로 인한 노이즈를 감소시킨다.
• 모델은 프로그램 기능 분류를 위한 교차 엔트로피 손실을 사용하여 종단 간으로 훈련되며, 라우팅, 차원 수, 추가 레이어에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크 아키텍처가 AST로 표현된 프로그램 소스 코드의 계층적이고 구조적인 관계를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 변수-정적 라우팅 알고리즘이 동적 최대 풀링(dynamic max pooling, DMP)과 같은 대안적 방법에 비해 코드 의미를 얼마나 잘 유지하고 분류 정확도를 향상시키는가?
• RQ3 효과적인 프로그램 분류를 위해 코드 캡슐 인스턴티에이션 파rameter의 최적 차원 수는 얼마인가?
• RQ4 추가적인 2차 캡슐 레이어를 추가함으로써 분류 성능가 향상되는가? 비록 계산 비용이 증가하더라도.
• RQ5 여러 프로그래밍 언어에서 TBCNNs, GGNNs, ASTNNs와 같은 기존 모델과 비교해 볼 때 TreeCaps는 프로그램 기능 분류에서 어떤 성능을 보이는가?

주요 결과

• TreeCaps는 TBCNNs, GGNNs, ASTNNs를 상당한 격차로 앞서며 프로그램 기능 분류에서 뛰어난 성능을 보였다. 분석 실험에서 동적 최대 풀링(DMP) 대비 정확도 향상 폭이 8.68%에 이르렀다.
• 제안된 변수-정적 라우팅 알고리즘은 92.11%의 분류 정확도를 달성하여 동적 최대 풀링 대비 83.43%의 정확도를 기록한 것보다 뚜렷이 높은 성능을 보이며 의미적 의존성을 효과적으로 유지함을 입증했다.
• 코드 캡슐 인스턴티에이션 파rameter(D_cc)의 최적 차원 수는 B 데이터셋에서 8로 확인되었으며, 표현 능력과 일반화 능력 사이의 균형을 이룬다.
• 2차 캡슐 레이어를 추가함으로써 정확도는 약간 향상되었지만 추론 시간은 16% 증가하여 성능과 효율성 사이의 상충 관계가 있음을 시사하며, 향후 추가 연구가 필요하다.
• 분석 실험 결과, 주요 변수 캡슐 및 정적 캡슐 레이어, 라우팅 메커니즘 모두가 모델의 고성능을 달성하는 데 핵심적인 역할을 하며, 각 구성 요소가 분류 정확도 향상에 기여하고 있음을 확인했다.