[논문 리뷰] Retrieval-Augmented Generation for Code Summarization via Hybrid GNN

Shangqing Liu, Yu Chen외 3명|arXiv (Cornell University)|2020. 06. 09.

Natural Language Processing Techniques참고 문헌 41인용 수 68

한 줄 요약

논문은 Retrieval-Augmented Hybrid Graph Neural Network (HGNN)를 코드 요약에 제안하며, Retrieval 기반 보강과 정적 및 동적 그래프를 융합하는 하이브리드 GNN을 통해 C 코드의 자연어 요약을 생성하고 새로운 CCSD 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Source code summarization aims to generate natural language summaries from structured code snippets for better understanding code functionalities. However, automatic code summarization is challenging due to the complexity of the source code and the language gap between the source code and natural language summaries. Most previous approaches either rely on retrieval-based (which can take advantage of similar examples seen from the retrieval database, but have low generalization performance) or generation-based methods (which have better generalization performance, but cannot take advantage of similar examples). This paper proposes a novel retrieval-augmented mechanism to combine the benefits of both worlds. Furthermore, to mitigate the limitation of Graph Neural Networks (GNNs) on capturing global graph structure information of source code, we propose a novel attention-based dynamic graph to complement the static graph representation of the source code, and design a hybrid message passing GNN for capturing both the local and global structural information. To evaluate the proposed approach, we release a new challenging benchmark, crawled from diversified large-scale open-source C projects (total 95k+ unique functions in the dataset). Our method achieves the state-of-the-art performance, improving existing methods by 1.42, 2.44 and 1.29 in terms of BLEU-4, ROUGE-L and METEOR.

연구 동기 및 목표

• 코드의 이질성과 요약의 복잡성으로 자동 코드 요약의 필요성을 제시한다.
• 데이터베이스에서 유사한 코드와 요약을 활용하는 검색 보강 생성 프레임워크를 개발한다.
• 정적 코드 속성 그래프와 동적으로 구성된 글로벌 주의 그래프를 결합하는 하이브리드 GNN를 도입하여 글로벌 정보 흐름을 가능하게 한다.
• CCSD 대형 C 코드 요약 벤치마크를 출시하고 최첨단 성능을 입증한다.
• 공헌과 견고성을 검증하기 위해 거듭 실험 및 사람 평가를 제공한다.

제안 방법

• AST에서 다중 간선 유형을 갖는 Code Property Graph (CPG)를 구성하고 노드를 BiLSTM 기반 표현으로 인코딩한다.
• 현 코드 CPG와 검색된 CPG 간의 주의(attention)를 통해 검색 코드 의미를 주입하는 검색 기반 보강을 도입하고, 보강된 노드 표현과 원래 노드 표현을 병합한다.
• 구조 인식 동적 그래프 A_dyn를 계산하여 임의의 노드 쌍 간의 글로벌 주의 기반 메시지 전달을 가능하게 한다.
• 정적(보강된) 그래프와 동적 그래프 정보를 융합하는 게이트드 융합 메커니즘과 GRU 업데이트를 사용하는 하이브리드 메시지 전달(HMP)을 수행하고, 그래프 수준 최대풀링으로 표현을 얻는다.
• 최종 그래프 표현과 검색 요약 특징에 주의를 기울이는 어텐션 기반 LSTM으로 요약을 디코딩하고, 교차 엔트로피 손실과 스케줄링 샘플링으로 학습한다.
• 95k+ 개의 C 함수-요약 쌍으로 CCSD 데이터세트에서 검색 기반, 시퀀스 기반, 그래프 기반 기준선들과 대조 평가를 수행한다.

실험 결과

연구 질문

• RQ1 검색 보강 프레임워크가 유사한 기존 코드와 요약을 활용하여 코드 요약을 개선할 수 있는가?
• RQ2 정적이고 검색 보강된 코드 그래프와 동적 글로벌 주의 그래프를 결합하면 로컬 및 글로벌 코드 의미를 모두 포착하여 요약 품질이 향상되는가?
• RQ3 코드 기반 보강 대 요약 기반 보강의 기여도는 요약 품질에 얼마나 반영되는가?
• RQ4 제안된 HGNN이 도메인 내외의 코드, 특히 C 언어에서 일반화되는가?
• RQ5 HGNN이 자동 및 인간 평가에서 최첨단 기준선과 비교하여 어떤 성능을 보이는가?

주요 결과

Method	BLEU-4 (In-domain)	ROUGE-L (In-domain)	METEOR (In-domain)	BLEU-4 (Out-of-domain)	ROUGE-L (Out-of-domain)	METEOR (Out-of-domain)	BLEU-4 (Overall)	ROUGE-L (Overall)	METEOR (Overall)
HGNN w/o augment	12.33	29.99	13.78	5.45	22.07	12.32	10.26	27.17	12.32
HGNN w/o static	15.93	33.67	15.67	7.72	24.69	10.63	13.44	30.47	13.98
HGNN w/o dynamic	15.77	33.84	15.67	7.64	24.72	10.73	13.31	30.59	14.01
HGNN w/o augment & static	11.75	29.59	13.86	5.57	22.14	9.41	9.98	26.94	12.05
HGNN w/o augment & dynamic	11.85	29.51	13.54	5.45	21.89	9.59	9.93	26.80	12.21
HGNN	16.72	34.29	16.25	7.85	24.74	11.05	14.01	30.89	14.50

• HGNN은 내 도메인 및 외 도메인 데이터에 대해 BLEU-4, ROUGE-L, METEOR에서 기준선보다 우수하며(전반적 이득은 Rencos 대비 BLEU-4 1.42, ROUGE-L 2.44, METEOR 1.29).
• 검색 보강은 성능에 기여하며, 정적 및 동적 그래프와 함께 사용할 때 추가 이득이 있다.
• 정적 및 동적 그래프 모두 기여하며, 정적 또는 동적 구성요소를 제거하면 성능이 감소하고, 특히 ROUGE-L과 METEOR 측면에서 정적 기여가 큰 영향을 준다.
• 요약 기반 보강이 코드 기반 보강보다 더 큰 이득을 주며, 두 가지를 합치면 최상의 전체 결과를 얻는다.
• 인간 평가에서 HGNN은 NNGen, Transformer, Rencos, SeqGNN에 비해 관련성 및 유사성 점수가 더 높았다.
• 새로운 CCSD 벤치마크(C 언어)가 코드 요약을 위해 출시되었다.