[논문 리뷰] Learning to Represent Programs with Heterogeneous Graphs

Kechi Zhang, Wenhan Wang외 3명|arXiv (Cornell University)|2020. 12. 08.

Software Engineering Research참고 문헌 37인용 수 9

한 줄 요약

이 논문은 소스 코드의 노드 및 엣지 유형을 명시적으로 모델링하는 이질적 프로그램 그래프(HPG)를 제안하며, 더 정확한 코드 표현을 가능하게 한다. HPG에 이질적 그래프 트랜스포머(HGT)를 적용함으로써, 메소드 이름 예측 및 코드 분류 작업에서 최신 기술(SOTA) 기준보다 뛰어난 성능을 보이며, 이질적 유형 정보와 수작업으로 만든 엣지 덕분에 뚜렷한 성능 향상을 얻는다.

ABSTRACT

Program source code contains complex structure information, which can be represented in structured data forms like trees or graphs. To acquire the structural information in source code, most existing researches use abstract syntax trees (AST). A group of works add additional edges to ASTs to convert source code into graphs and use graph neural networks to learn representations for program graphs. Although these works provide additional control or data flow information to ASTs for downstream tasks, they neglect an important aspect of structure information in AST itself: the different types of nodes and edges. In ASTs, different nodes contain different kinds of information like variables or control flow, and the relation between a node and all its children can also be different. To address the information of node and edge types, we bring the idea of heterogeneous graphs to learning on source code and present a new formula of building heterogeneous program graphs from ASTs with additional type information for nodes and edges. We use the ASDL grammar of programming language to define the node and edge types of program graphs. Then we use heterogeneous graph neural networks to learn on these graphs. We evaluate our approach on two tasks: code comment generation and method naming. Both tasks require reasoning on the semantics of complete code snippets. Experiment results show that our approach outperforms baseline models, including homogeneous graph-based models, showing that leveraging the type information of nodes and edges in program graphs can help in learning program semantics.

연구 동기 및 목표

• 동질적 그래프가 노드 및 엣지의 의미적 유형 정보를 손실하는 한계를 해결하기 위해.
• 프로그램 구조 내에서 노드 및 엣지 유형을 명시적으로 모델링하여 코드 표현 학습을 향상시키기 위해.
• 이질적 그래프 모델링을 통해 소스 코드의 복잡한 구조적 및 의미적 관계를 포착하는 프레임워크를 개발하기 위해.
• 이질적 유형과 수작업으로 만든 엣지가 코드 처리 작업의 모델 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 추상 구문 트리(AST)에서 유형 정보를 추출하여 ASDL 문법을 사용해 이질적 프로그램 그래프(HPG)를 구축한다.
• 코드의 구조적 및 문법적 순서를 유지하기 위해 NextSib 및 NextToken과 같은 수작업으로 만든 엣지를 도입한다.
• 다양한 노드 및 엣지 유형 간의 유형 인식 메시지 전달을 가능하게 하기 위해 HPG를 처리하는 데 이질적 그래프 트랜스포머(HGT) 아키텍처를 사용한다.
• 메소드 이름 예측과 같은 생성 작업을 향상시키기 위해 하위토큰 노드에만 작용하는 디코딩 전략을 적용한 HGT를 적용한다.
• HGT의 어텐션 메커니즘을 안내하기 위해 노드 및 엣지 유형 임베딩을 사용하여 모델이 코드 내 의미적 역할을 구분할 수 있도록 한다.
• 표준 벤치마크를 사용해 코드 표현 작업에 대해 HPG+HGT 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 프로그램 그래프에 이질적 노드 및 엣지 유형을 통합할 경우 코드 표현 품질에 어떤 영향을 미치는가?
• RQ2 수작업으로 만든 엣지(예: NextSib, NextToken)가 모델 성능에 기여하는 정도는 어떠한가?
• RQ3 HGT 아키텍처가 동질적 그래프 모델에 비해 이질적 유형 정보를 어떻게 활용하는가?
• RQ4 하위토큰 노드에만 디코딩을 적용할 경우 생성 작업에 어떤 영향을 미치는가?
• RQ5 노드 또는 엣지 유형을 제거할 경우 성능 저하 정도는 어느 정도인가?

주요 결과

• HPG+HGT 모델은 네 개의 벤치마크 데이터셋에서 코드 분류 및 메소드 이름 예측 작업 모두에서 최신 기술(SOTA) 기준보다 뛰어난 성능을 보였다.
• HPG에서 노드 유형이나 엣지 유형을 제거하면 F1-score가 약 7% 감소하여, 표현 학습에서 이들의 핵심적인 역할을 확인할 수 있었다.
• 노드 및 엣지 유형을 모두 제거하여 HPG를 동질적 그래프로 전환할 경우 F1-score가 8% 감소하여 이질성의 중요성을 확인했다.
• 수작업으로 만든 NextSib 및 NextToken 엣지를 제거할 경우 각각 1.4% 및 1.0%의 정확도 감소가 있었으며, p-value가 0.0002 이하로 통계적으로 유의미한 결과를 보였다.
• 모든 노드에 대해 디코딩을 수행할 경우 F1-score가 약 4.6% 감소하여, 하위토큰 노드 전용 디코딩 설계의 타당성을 입증했다.
• GGNN는 엣지 유형 정보로부터 이점을 얻었으며, 이질적 엣지를 사용할 경우 F1-score가 3% 향상되어, 심지어 기본 GNN 모델도 유형 인식 그래프에서 이점을 얻음을 보여주었다.