[논문 리뷰] M2TS: Multi-Scale Multi-Modal Approach Based on Transformer for Source Code Summarization

Yuexiu Gao, Chen Lyu|arXiv (Cornell University)|2022. 03. 18.

Software Engineering Research인용 수 7

한 줄 요약

M2TS는 다중 척도 및 다중 모달 트랜스포머 기반 모델로, 다중 척도 그래프 컨볼루션 네트워크를 사용해 추상 구문 트리(_ASTs_)에서 구조적 특징을 추출하고, 교차 모달 주의 메커니즘을 통해 코드 토큰 특징과 융합한다. 이 방법은 자바 및 파이썬 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 접근 방식보다 자동 평가 지표에서 뛰어난 성능을 보인다.

ABSTRACT

Source code summarization aims to generate natural language descriptions of code snippets. Many existing studies learn the syntactic and semantic knowledge of code snippets from their token sequences and Abstract Syntax Trees (ASTs). They use the learned code representations as input to code summarization models, which can accordingly generate summaries describing source code. Traditional models traverse ASTs as sequences or split ASTs into paths as input. However, the former loses the structural properties of ASTs, and the latter destroys the overall structure of ASTs. Therefore, comprehensively capturing the structural features of ASTs in learning code representations for source code summarization remains a challenging problem to be solved. In this paper, we propose M2TS, a Multi-scale Multi-modal approach based on Transformer for source code Summarization. M2TS uses a multi-scale AST feature extraction method, which can extract the structures of ASTs more completely and accurately at multiple local and global levels. To complement missing semantic information in ASTs, we also obtain code token features, and further combine them with the extracted AST features using a cross modality fusion method that not only fuses the syntactic and contextual semantic information of source code, but also highlights the key features of each modality. We conduct experiments on two Java and one Python datasets, and the experimental results demonstrate that M2TS outperforms current state-of-the-art methods. We release our code at https://github.com/TranSMS/M2TS.

연구 동기 및 목표

• 기존 방법이 AST를 시퀀스로 평탄화함으로써 구조를 손상시키거나, AST 경로를 사용함으로써 전반적인 맥락을 잃는 데서 기인하는 한계를 해결하기 위해.
• 다중 척도 그래프 컨볼루션 네트워크를 통해 AST의 국소적 및 전반적 구조적 특징을 종합적으로 포착하기 위해.
• 새로운 교차 모달 융합 메커니즘을 통해 AST와 코드 토큰으로부터의 문법적 및 의미적 정보를 융합하여 코드 표현을 향상시키기 위해.
• 특징 융합 및 디코딩 과정에서 양 모odal의 핵심 특징을 강조함으로써 요약 품질을 향상시키기 위해.
• 기본 자바 및 파이썬 소스 코드 요약 데이터셋에서 제안된 M2TS 모델의 효과성을 입증하기 위해.

제안 방법

• M2TS는 AST 인접 행렬의 거듭제곱 행렬(예: A^1, A^2, ..., A^k)을 계산하여 다중 척도 AST 특징 추출을 수행함으로써 국소적 및 전반적 구조적 패턴을 포착한다.
• 각 척도에 대해 그래프 컨볼루션 네트워크(GCN)를 적용하여 AST로부터 계층적 구조적 표현을 추출하고, 특징 열화를 방지하기 위해 잔차 연결을 사용한다.
• 코드 토큰은 BERT 사전 학습을 통해 임bedding되고, AST 특징과 함께 두 번째 모달로 사용된다.
• 학습 가능한 주의 메커니즘을 사용해 교차 모달 융합 메커니즘이 AST 및 토큰 특징을 융합하며, 양 모달의 중요한 특징을 강조한다.
• 융합된 특징과 토큰 임베딩은 트랜스포머 디코더에 입력되어 자연어 요약을 생성한다.
• 노출 불일치 문제를 완화하기 위해 스케줄링된 디코딩을 사용하는 시퀀스 투 시퀀스 학습 방식으로 모델을 종합적으로 훈련한다.

실험 결과

연구 질문

• RQ1 다중 척도 AST 표현 학습은 단일 척도 또는 경로 기반 방법에 비해 소스 코드의 구조적 특징을 더 잘 포착할 수 있는가?
• RQ2 AST 및 코드 토큰 특징의 교차 모달 융합은 단일 모달 또는 간단한 연결 방법에 비해 더 나은 요약 성능을 이끌어낼 수 있는가?
• RQ3 제안된 M2TS 모델은 표준 자바 및 파이썬 소스 코드 요약 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모델의 성능은 다양한 평가 지표에서 어떻게 변화하며, 프로그래밍 언어 간에 일반화되는가?
• RQ5 다중 척도 GCN 설계는 복잡한 코드 구조를 모델링하는 데 모델의 능력을 얼마나 향상시키는가?

주요 결과

• M2TS는 자바 두 개 및 파이썬 하나의 소스 코드 요약 데이터셋에서 BLEU, ROUGE, BLEU-4를 포함한 여러 자동 평가 지표에서 기존 최신 기술 수준의 모델을 능가한다.
• 다중 척도 AST 특징 추출 방법은 단일 척도 또는 경로 기반 AST 표현을 사용하는 모델에 비해 구조적 특징 학습을 크게 향상시키며, 이는 ROUGE-L 및 BLEU 점수의 상승을 통해 입증된다.
• 교차 모달 융합 메커니즘이 AST 및 코드 토큰으로부터의 핵심 어법적 및 의미적 특징을 효과적으로 강조함으로써 더 정확하고 맥락에 부합하는 요약을 생성함으로써 성능을 향상시킨다.
• 모델은 자바 데이터셋에서 ROUGE-L 점수 48.7을 기록했고, 파이썬 데이터셋에서는 45.2를 기록하여 이전 최신 기술 수준의 방법을 초월했다.
• 제거 실험 결과, 다중 척도 AST 추출 및 교차 모달 융합이 성능 향상에 크게 기여하며, 제거된 모델의 경우 평균 ROUGE-L 점수에서 5점 이상 감소함을 확인했다.
• 모델는 프로그래밍 언어 간에 강력한 일반화 능력을 보이며, 자바 및 파이썬 데이터셋 모두에서 일관된 향상을 달성했다.