[논문 리뷰] GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization

Junyan Cheng, Iordanis Fostiropoulos외 1명|arXiv (Cornell University)|2021. 11. 17.

Software Engineering Research참고 문헌 40인용 수 6

한 줄 요약

이 논문은 소스 코드 시퀀스와 추상 구문 트리(abstract syntax tree, AST) 표현을 통합하여 구조-코드-그래프(Syntax-Code-Graph, SCG)를 구성하는 새로운 모델 GN-Transformer를 제안한다. 그래프 네트워크를 자기주의(self-attention) 기반으로 확장하고 융합된 모odal을 기반으로 엔드 투 엔드로 훈련함으로써, 두 개의 코드 요약 데이터셋에서 BLEU, METEOR, ROUGE-L 지표 모두에서 최신 기술 수준의 성능을 달성하였으며, 전문가 사용자 연구를 통해 인간 평가 기준의 품질과 정확성에서도 뛰어난 성능을 보였다.

ABSTRACT

As opposed to natural languages, source code understanding is influenced by grammatical relationships between tokens regardless of their identifier name. Graph representations of source code such as Abstract Syntax Tree (AST) can capture relationships between tokens that are not obvious from the source code. We propose a novel method, GN-Transformer to learn end-to-end on a fused sequence and graph modality we call Syntax-Code-Graph (SCG). GN-Transformer expands on Graph Networks (GN) framework using a self-attention mechanism. SCG is the result of the early fusion between a source code snippet and the AST representation. We perform experiments on the structure of SCG, an ablation study on the model design, and the hyper-parameters to conclude that the performance advantage is from the fused representation. The proposed methods achieve state-of-the-art performance in two code summarization datasets and across three automatic code summarization metrics (BLEU, METEOR, ROUGE-L). We further evaluate the human perceived quality of our model and previous work with an expert-user study. Our model outperforms the state-of-the-art in human perceived quality and accuracy.

연구 동기 및 목표

• 학습 과정의 초반 단계에서 순서형 및 그래프 모달리티를 조기에 융합함으로써 코드 요약 성능을 향상시키기.
• 기존 모델들이 코드와 AST 표현을 별도로 처리하는 후기 융합(late fusion)의 한계를 해결하기.
• 자기주의(self-attention) 기반으로 개선된 그래프 신경망 아키텍처를 개발하여 코드 이해에서의 다중 모달 상호작용을 향상시키기.
• 자동 평가 지표 외에도 대규모 전문가 사용자 연구를 통해 요약 품질과 정확성에 대한 인간의 평가를 포함한 성능 평가 수행하기.
• 그래프 구조 표현에 대한 위치 인코딩의 영향을 탐구하기.

제안 방법

• 모델은 소스 코드 토큰과 AST 노드를 단일 이질적 그래프로 조기 융합하여 구조-코드-그래프(Syntax-Code-Graph, SCG)를 구성한다.
• GN-Transformer는 다중 헤드 자기주의(self-attention) 기반의 그래프 네트워크(GN) 프레임워크를 활용하여 노드 간의 동적이고 학습 가능한 상호작용을 가능하게 한다.
• 에코더는 SCG를 다중 GN-Transformer 블록을 통해 처리하며, 각 블록은 잔차 연결과 레이어 정규화를 적용하여 노드 표현을 업데이트한다.
• 디코더의 입력으로는 오직 토큰-노드만 사용되며, AST-노드는 특징 추출 후에는 폐기되어 순서 수준의 생성을 유지한다.
• 그래프 구조에 적합하게 조정된 가중치 가능한 절대 및 상대 위치 임베딩을 사용하여 노드 순서에 대한 인덕티브 바이어스를 제공한다.
• 이 아키텍처는 융합된 SCG에서 엔드 투 엔드 훈련을 지원하여 후기 융합 기법보다 richer한 다중 모달 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 구조-코드-그래프를 통한 코드 시퀀스와 AST의 조기 융합이 후기 융합 대비 코드 요약 성능 향상에 기여하는가?
• RQ2 그래프 네트워크에 자기주의를 통합함으로써 코드 요약을 위한 표현 학습이 어떻게 향상되는가?
• RQ3 다른 위치 인코딩 전략(절대 vs. 상대)이 그래프 구조의 코드 표현에 미치는 영향은 무엇인가?
• RQ4 제안된 모델이 자동 평가 지표뿐 아니라 요약 품질과 정확성에 대한 인간 평가에서도 최신 기술 수준의 모델들을 능가하는가?
• RQ5 모델 하이퍼파라미터와 그래프 구조는 융합 표현의 성능에 어떤 영향을 미치는가?

주요 결과

• GN-Transformer는 두 개의 코드 요약 데이터셋에서 BLEU, METEOR, ROUGE-L 지표 전반에서 최신 기술 수준의 성능을 달성하였다.
• 제거 실험(ablation study) 결과, 성능 향상은 단순히 아키텍처 개선 때문이 아니라 조기 융합 덕분임을 확인하였다.
• 전문가 사용자 연구를 통한 인간 평가 결과, GN-Transformer는 이전 모델 대비 요약 품질과 정확성에서 뛰어난 성능을 보였다.
• 절대 위치 임베딩(Absolute Positional Embedding, APE)은 두 데이터셋 모두에서 성능을 떨어뜨리며, 특히 AST-노드에 적용했을 경우 뚜렷한 성능 저하를 보였다. 이는 APE가 그래프 구조의 코드 표현에 부적합함을 시사한다.
• PGNN 기반의 상대 위치 인코딩(Relative Positional Encoding, RPE)은 혼합된 결과를 보였다. 작은 자바 데이터셋에선 성능 향상을 보였지만, 더 큰 파이썬 데이터셋에선 성능 저하가 발생했으며, 이는 더 큰 그래프에서 앵커 세트의 적응성 부족 때문일 가능성이 높다.
• 모델는 코드 길이에 대해 뛰어난 내재성 보존을 보이며, 테스트 세트의 다양한 스크립트 길이에서도 성능 안정성이 관찰되었다.