[논문 리뷰] A Transformer-based Approach for Source Code Summarization

Wasi Uddin Ahmad, Saikat Chakraborty외 2명|arXiv (Cornell University)|2020. 05. 01.

Software Engineering Research참고 문헌 31인용 수 37

한 줄 요약

이 논문은 상대 위치 표현과 복사(attention) 메커니즘이 있는 Transformer가 소스 코드 요약을 최첨단 방법보다 크게 개선하며 Java와 Python 데이터셋에서 베이스라인을 능가한다는 것을 보여준다.

ABSTRACT

Generating a readable summary that describes the functionality of a program is known as source code summarization. In this task, learning code representation by modeling the pairwise relationship between code tokens to capture their long-range dependencies is crucial. To learn code representation for summarization, we explore the Transformer model that uses a self-attention mechanism and has shown to be effective in capturing long-range dependencies. In this work, we show that despite the approach is simple, it outperforms the state-of-the-art techniques by a significant margin. We perform extensive analysis and ablation studies that reveal several important findings, e.g., the absolute encoding of source code tokens' position hinders, while relative encoding significantly improves the summarization performance. We have made our code publicly available to facilitate future research.

연구 동기 및 목표

• 소스 코드에 대한 자연어 요약의 자동 생성을 통해 프로그램 이해를 돕기 위함.
• Transformer기반 모델이 코드의 장거리 의존성을 RNN보다 더 잘 포착할 수 있는지 조사.
• 코드-텍스트 생성 개선을 위한 상대 위치 표현과 복사-attention의 효과 평가.
• 요약 성능에 대한 절대 위치 vs 상대 위치 및 AST 기반 구조의 영향 평가.
• 코드 요약에서 효과적인 Transformer 구성에 대한 차등 실험 및 실용적 가이드 제공

제안 방법

• 코드 토큰으로부터 자연어 요약을 생성하기 위해 Transformer 인코더-디코더를 적용한다.
• 입력으로부터 희귀한 코드 토큰(예: 식별자)을 복사해 사용할 수 있도록 복사-attention 메커니즘을 도입한다.
• 코드 토큰 순서를 위한 절대 위치 표현과 상대 위치 표현을 실험한다.
• 방향성 정보를 무시하는 상대 위치 표현을 평가하고 방향성 변형과 비교한다.
• 단어 수를 줄이고 성능을 개선하기 위해 CamelCase 및 snake_case 토큰을 서브토큰으로 분할한다.
• 모델 규모, 깊이 및 AST(SBT) 표현의 효과를 평가하기 위한 광범위한 차등 실험을 수행한다

실험 결과

연구 질문

• RQ1 Transformer 기반 모델이 Java 및 Python 데이터셋에서 소스 코드 요약에 있어 최첨단 신경 접근법을 능가하는가?
• RQ2 코드 토큰에 대한 상대 위치 정보를 인코딩하는 것이 절대 위치 인코딩보다 요약을 개선하는가?
• RQ3 복사-attention 메커니즘의 포함이 요약 품질에 어떤 영향을 주는가?
• RQ4 모델의 크기와 깊이가 코드 요약 성능에 어떤 영향을 미치는가?
• RQ5 SBT를 통한 AST 구조의 도입이 Transformer과 함께 코드 요약에 도움이 되는가?

주요 결과

모델	BLEU (Java)	METEOR (Java)	ROUGE-L (Java)	BLEU (Python)	METEOR (Python)	ROUGE-L (Python)
Base Model	43.41	25.91	52.71	31.08	18.57	44.31
Full Model	44.58	26.43	54.76	32.52	19.77	46.73
Full Model w/o Relative Position	44.26	26.23	53.58	31.38	18.69	44.68
Full Model w/o Copy Attention	44.14	26.34	53.95	31.64	19.17	45.42

• 상대 위치 표현과 복사-attention을 포함한 풀 모델이 두 데이터셋 모두에서 베이스라인 및 기본 모델보다 우수하다.
• 복사-attention은 기본 Transformer 대비 일관된 이점을 제공합니다(Java +0.44 BLEU, Python +0.88 BLEU).
• 상대 위치 표현(방향 정보 무시)이 절대 위치 및 방향성 변형보다 성능을 향상시킨다.
• 더 깊은 모델(더 많은 층)이 코드 요약에서 더 넓은 이점을 제공한다.
• AST 기반 확장(SBT)은 사용된 Transformer 설정에서 성능 향상을 주지 못했다.
• 코드 토큰에 대한 절대 위치보다 상대적 쌍 위치 관계가 유리하다