[논문 리뷰] Program Classification Using Gated Graph Attention Neural Network for Online Programming Service

Mingming Lu, Dingwu Tan외 3명|arXiv (Cornell University)|2019. 03. 09.

Online Learning and Analytics참고 문헌 24인용 수 5

한 줄 요약

이 논문은 추상 구문 트리(abstract syntax trees, ASTs)에 데이터 흐름 및 함수 호출 정보를 통합하여 통합된 프로그램 그래프를 형성함으로써 프로그램 분류 성능을 햖थ한 게이팅 그래프 주의 신경망(Gated Graph Attention Neural Network, GGANN)을 제안한다. 주의 메커니즘을 활용하여 프로그램의 의미적 및 구조적 특징을 포착함으로써, 최신 기술 수준의 분류 정확도 97.8%를 달성한다.

ABSTRACT

The online programing services, such as Github,TopCoder, and EduCoder, have promoted a lot of social interactions among the service users. However, the existing social interactions is rather limited and inefficient due to the rapid increasing of source-code repositories, which is difficult to explore manually. The emergence of source-code mining provides a promising way to analyze those source codes, so that those source codes can be relatively easy to understand and share among those service users. Among all the source-code mining attempts,program classification lays a foundation for various tasks related to source-code understanding, because it is impossible for a machine to understand a computer program if it cannot classify the program correctly. Although numerous machine learning models, such as the Natural Language Processing (NLP) based models and the Abstract Syntax Tree (AST) based models, have been proposed to classify computer programs based on their corresponding source codes, the existing works cannot fully characterize the source codes from the perspective of both the syntax and semantic information. To address this problem, we proposed a Graph Neural Network (GNN) based model, which integrates data flow and function call information to the AST,and applies an improved GNN model to the integrated graph, so as to achieve the state-of-art program classification accuracy. The experiment results have shown that the proposed work can classify programs with accuracy over 97%.

연구 동기 및 목표

• 기존의 프로그램 분류 모델이 문법적 정보와 의미적 정보를 효과적으로 포착하지 못하는 한계를 해결하기 위해.
• GitHub, TopCoder, EduCoder와 같은 온라인 프로그래밍 서비스에서 사회적 상호작용의 효율성을 향상시키기 위해 정확한 프로그램 이해 및 추천을 가능하게 하기 위해.
• 소스 코드 내에서 세밀한 데이터 흐름과 거시적인 함수 호출 관계를 모두 포괄하는 통합된 그래프 표현을 개발하기 위해.
• 프로그램 분류를 위한 의미적으로 풍부한 노드 표현을 학습할 수 있는 그래프 신경망 모델을 설계하기 위해.

제안 방법

• 문법적 및 의미적 정보를 모두 포착하기 위해 추상 구문 트리(abstract syntax tree, AST)에 데이터 흐름 간선과 함수 호출 간선을 추가하여 프로그램 그래프를 구축한다.
• 메시지 전파 중에 노드 중요도를 동적으로 가중치 부여할 수 있도록 게이팅 그래프 신경망(Gated Graph Neural Network, GGNN)에 주의 메커니즘을 통합한 게이팅 그래프 주의 신경망(Gated Graph Attention Neural Network, GGANN)을 제안한다.
• 최종 그래프 표현을 계산하기 위해 주의 점수 기반의 그래프 수준 집계 함수를 사용한다.
• 소스 코드에서 파생된 프로그램 그래프 표현에 GGANN 모델을 적용하여 구조적 및 의미적 특징의 엔드 투 엔드 학습을 가능하게 한다.
• 학습된 노드 임베딩에 대해 t-SNE 시각화와 K-means 클러스터링을 수행하여 의미적 클러스터링 행동을 검증한다.
• 성능 및 일반화 능력을 평가하기 위해 제안된 모델과 최신 기술 수준의 모델들(예: TBCNN) 간의 추론 및 분석을 수행한다.

실험 결과

연구 질문

• RQ1 AST에 데이터 흐름 및 함수 호출 정보를 통합함으로써 그래프 신경망 모델이 소스 코드의 문법적 및 의미적 특징을 효과적으로 학습할 수 있는가?
• RQ2 GGANN 내 주의 메커니즘이 프로그램 그래프에서 의미적으로 중요한 노드를 성공적으로 식별하고 우선순위를 부여하는가?
• RQ3 학습된 노드 표현이 제어 흐름 문장(예: ForStmt, BreakStmt)이나 연산자(예: BinaryOperator, IntegerLiteral)와 같이 의미적으로 관련된 노드들을 그룹화하는 의미적 클러스터링을 반영하는가?
• RQ4 제안된 GGANN 모델은 TBCNN과 같은 기존 모델들과 비교해 볼 때, 미리 보지 못한 코드에 대한 분류 정확도와 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 GGANN 모델은 기준 데이터셋에서 97.8%의 프로그램 분류 정확도를 달성하여 최신 기술 수준의 방법들을 초월한다.
• 학습된 노드 표현에 대한 t-SNE 시각화 결과에서 명확한 클러스터링 패턴이 드러나, 모델이 노드 간의 의미적 유사성을 효과적으로 포착하고 있음을 시사한다.
• 노드 임베딩의 K-means 클러스터링 결과, 제어 흐름 문장(예: ForStmt, BreakStmt)과 연산자(예: BinaryOperator, IntegerLiteral)와 같이 의미적으로 관련된 노드들이 함께 그룹화됨을 확인할 수 있다.
• GGANN의 주의 점수는 IfStmt, CallExpr, CompoundStmt와 같은 핵심 구조적 노드들이 매우 중요하다고 강조함으로써, 모델이 의미적으로 풍부한 구성 요소에 집중할 수 있음을 확인한다.
• 모델는 새로운 테스트 데이터에 대해서도 잘 일반화되며, 다양한 프로그래밍 작업에 걸쳐 강건하고 효과적인 특징 학습 능력을 보여준다.
• AST에 데이터 흐름 및 함수 호출 간선을 통합함으로써, AST 전용 모델 대비 표현 품질이 크게 향상됨을 확인할 수 있다.