[논문 리뷰] Automatic Code Summarization via Multi-dimensional Semantic Fusing in GNN.

Shangqing Liu, Yu Chen외 3명|arXiv (Cornell University)|2020. 06. 09.

Software Engineering Research참고 문헌 52인용 수 19

한 줄 요약

이 논문은 추상 구문 트리(AS T), 제어 흐름 그래프(CFG), 프로그램 의존성 그래프(PDG)를 융합하여 공동 코드 성질 그래프를 만드는 그래프 신경망(GNN) 기반 방법을 제안한다. 검색 기반 외부 지식과 동적 그래프 어텐션 메커니즘을 통합하여 국소적이고 전역적인 코드 의미를 포괄적으로 포착하며, 200개 이상의 오픈소스 C 프로젝트에서 수집한 새로운 벤치마크에서 BLEU-4, ROUGE-L, METEOR 각각 1.66, 2.38, 2.22 향상으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Source code summarization aims to generate natural language summaries from structured code snippets for better understanding code functionalities. Recent works attempt to encode programs into graphs for learning program semantics and yield promising results. However, these methods only use simple code representations (e.g., AST), which limits the capability of learning the rich semantics for complex programs. Furthermore, these models primarily rely on graph-based message passing, which only captures local neighborhood relations. To this end, in this paper, we combine diverse representations of the source code (i.e., AST, CFG and PDG) into a joint code property graph. To better learn semantics from the joint graph, we propose a retrieval-augmented mechanism to augment source code semantics with external knowledge. Furthermore, we propose a novel attention-based dynamic graph to capture global interactions among nodes in the static graph and followed a hybrid message passing GNN to incorporate both static and dynamic graph. To evaluate our proposed approach, we release a new challenging benchmark, crawled from 200+ diversified large-scale open-source C projects. Our method achieves the state-of-the-art performance, improving existing methods by 1.66, 2.38 and 2.22 in terms of BLEU-4, ROUGE-L and METEOR metrics.

연구 동기 및 목표

• 기존 코드 요약 방법이 단일 또는 단순한 코드 표현 방식(예: AST)에 의존하여 복잡한 프로그램에서 풍부한 의미를 포착하지 못하는 한계를 해결한다.
• 기존 GNN의 메시지 전파 방식이 국소적 수용 영역에 국한되는 문제를 해결하기 위해 전역적 노드 상호작용 모델링을 가능하게 한다.
• 검색 기반 메커니즘을 통해 외부 지식을 통합하여 코드 의미를 향상시킨다.
• 정적 및 동적 그래프 학습을 융합한 하이브리드 GNN 아키텍처를 개발하여 코드 그래프에서의 표현 학습을 향상시킨다.
• 200개 이상의 대규모 오픈소스 C 프로젝트를 크롤링하여 코드 요약을 위한 새로운 도전적인 벤치마크를 구축한다.

제안 방법

• 추상 구문 트리(AS T), 제어 흐름 그래프(CFG), 프로그램 의존성 그래프(PDG)의 세 가지 정적 코드 표현을 융합하여 공동 코드 성질 그래프를 구성한다.
• 코드 문서화 및 관련 코드 스니펫에서 온 외부 지식을 노드 임베딩에 풍부하게 하는 검색 기반 보완 메커니즘을 도입한다.
• 정적 코드 그래프 내 노드 간 장거리 의존성을 모델링하기 위한 새로운 어텐션 기반 동적 그래프를 제안한다.
• 정적 공동 그래프와 학습된 동적 그래프에서 온 정보를 융합하는 하이브리드 메시지 전파 메커니즘을 설계한다.
• 코드 임베딩에서 자연어 요약을 생성하기 위해 교차 어텐션을 활용한 시퀀스-투-시퀀스 학습을 통해 모델을 종단 간(end-to-end)으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 AST, CFG, PDG와 같은 다수의 정적 코드 표현을 통합된 그래프로 융합함으로써 코드 요약을 위한 의미 표현을 향상시킬 수 있는가?
• RQ2 저자원 또는 복잡한 코드 환경에서 검색 기반 외부 지식 통합이 코드 표현 학습에 어느 정도 향상 효과를 미치는가?
• RQ3 동적 그래프 어텐션 메커니즘을 통해 전역적 노드 상호작용을 모델링하는 것이 기존 GNN의 국소적 메시지 전파 방식에 비해 코드 요약에서 더 우수한 성능을 내는가?
• RQ4 제안된 하이브리드 GNN 아키텍처는 다양한 실제 코드 요약 벤치마크에서 기존 최신 기술 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 대규모이고 다양한 오픈소스 C 코드 벤치마크를 사용할 경우 모델의 일반화 능력과 성능 평가에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 코드 요약에서 최신 기술 수준의 성능을 달성하여 기존 방법 대비 BLEU-4 점수를 1.66점 향상시켰다.
• ROUGE-L 점수가 2.38점 향상되어 요약 품질의 재현율 측면에서 뚜렷한 향상을 보였다.
• METEOR 점수는 2.22점 상승하여 어휘적 및 의미적 정밀도 측면에서 인간이 애너테이션한 요약과의 일치도가 향상됨을 시사했다.
• 검색 기반 외부 지식 통합은 희귀하거나 복잡한 코드 패턴에 특히 효과적으로 코드 표현을 향상시켰다.
• 동적 그래프 어텐션 메커니즘은 장거리 의존성을 더 잘 모델링할 수 있게 하여 코드 구조에 대한 전역적 이해도 향상에 기여했다.
• 200개 이상의 오픈소스 C 프로젝트에서 수집한 신규 공개 벤치마크는 더 현실적이고 도전적인 평가 환경을 제공하며, 이는 이전 모델의 한계를 드러내었다.