[논문 리뷰] Code Summarization with Structure-induced Transformer

Hongqiu Wu, Hai Zhao외 1명|arXiv (Cornell University)|2020. 12. 29.

Software Engineering Research참고 문헌 52인용 수 5

한 줄 요약

이 논문은 코드의 추상구문트리(Abstract Syntax Tree, AST)로부터 다중 시각적 구조적 정보를 구조 유도 자기주의 구조를 통해 통합하는 새로운 트랜스포머 아키텍처인 구조 유도 트랜스포머(SiT)를 제안한다. 이는 코드 요약 성능을 크게 향상시킨다. SiT는 자바와 파이썬 벤치마크에서 기존 모델들인 SBT를 갖춘 트랜스포머와 GNN 모델들을 능가하는 최신 기술 수준의 성능을 달성하면서도 더 빠른 추론 속도를 유지한다.

ABSTRACT

Code summarization (CS) is becoming a promising area in recent language understanding, which aims to generate sensible human language automatically for programming language in the format of source code, serving in the most convenience of programmer developing. It is well known that programming languages are highly structured. Thus previous works attempt to apply structure-based traversal (SBT) or non-sequential models like Tree-LSTM and graph neural network (GNN) to learn structural program semantics. However, it is surprising that incorporating SBT into advanced encoder like Transformer instead of LSTM has been shown no performance gain, which lets GNN become the only rest means modeling such necessary structural clue in source code. To release such inconvenience, we propose structure-induced Transformer, which encodes sequential code inputs with multi-view structural clues in terms of a newly-proposed structure-induced self-attention mechanism. Extensive experiments show that our proposed structure-induced Transformer helps achieve new state-of-the-art results on benchmarks.

연구 동기 및 목표

• 트랜스포머가 시퀀스 모델링에서 성공을 거두었음에도 불구하고 소스 코드의 구조적 정보를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
• LSTM에서는 성공했지만 트랜스포머에서는 실패하는 구조 기반 순회(SBT)의 실패 원인을 극복하기 위해.
• 순차적 평탄화나 그래프 기반 인코딩을 필요로 하지 않고, AST의 구조를 본질적으로 통합하는 자기주의 메커니즘을 설계하기 위해.
• 통합적이고 효율적인 아키텍처에서 전역 자기주의와 구조 유도 주의를 융합하여 코드 요약 성능을 향상시키기 위해.
• 특히 저자원 환경에서 SiT의 효과성을 검증하기 위해, 다양한 모델 크기와 파라미터 공유 전략에 대해 검토하기 위해.

제안 방법

• Transformer 인코더의 주의 계산에 다중 시각적 AST 순회 경로(예: 중위순회, 전위순회, 후위순회)를 통합하는 구조 유도 자기주의 메커니즘을 제안한다.
• 표준 자기주의와 구조 유도 주의를 결합하는 이중 주의 메커니즘을 도입하여, 모델이 순차적 및 구조적 의존성을 모두 고려할 수 있도록 한다.
• 각 헤드가 서로 다른 구조적 순회 경로에 조건화된 다중 헤드 주의 메커니즘을 활용하여, 모델이 다양한 구조적 시각을 학습할 수 있도록 한다.
• 전역 및 구조적 표현을 층 간에 유지하는 잔차 연결과 피드포워드 네트워크 구조를 설계한다.
• 절대 위치 임베딩에 의존하지 않고, 구조적 순회 경로와 일치하는 학습 가능한 위치 인코딩을 사용한다.
• 특히 저자원 환경에서 효율성과 일반화 능력을 향상시키기 위해 인코더 층 간에 파라미터를 공유한다.

실험 결과

연구 질문

• RQ1 표준 자기주의와 비교해 구조 유도 자기주의가 트랜스포머 기반 코드 요약 모델의 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 왜 구조 기반 순회(SBT)는 트랜스포머에서는 성능 향상에 실패하고 LSTMs에서는 성공하는가? 이 문제는 아키텍처 재설계로 해결될 수 있는가?
• RQ3 그래프 신경망이나 순차적 평탄화 없이도 전역 시퀀스와 구조적 의존성을 통합하는 통합 주의 메커니즘이 가능할 수 있는가?
• RQ4 표준 트랜스포머와 비교해, 제안된 SiT 모델은 다양한 모델 크기와 파라미터 공유 전략에서 어떻게 성능을 내는가?
• RQ5 특히 추론 속도 측면에서 SiT는 최신 기술 수준의 성능을 달성하면서도 높은 효율성을 유지하는가?

주요 결과

• SiT는 자바와 파이썬 코드 요약 벤치마크에서 이전 최신 기술 수준의 모델들인 향상된 트랜스포머와 GNN 기반 모델들을 능가하는 새로운 최신 기술 수준의 성능을 달성한다.
• 자바 및 파이썬 데이터셋에서, 더 큰 모델 크기로 확장할 경우 SiT는 표준 트랜스포머 대비 BLEU 점수를 0.42–0.54 포인트 향상시킨다.
• SiT는 SBT를 갖춘 트랜스포머보다 1.5배 빠른 속도로 추론을 수행하여, 구조적 정보를 통합함에도 불구하고 뛰어난 추론 효율성을 입증한다.
• 파라미터 공유를 적용한 경우 SiT에서는 하나의 인코더 파라미터 세트만으로도 강력한 성능을 유지하지만, 표준 트랜스포머는 동일한 설정에서 성능이 크게 떨어진다.
• 제거 실험 결과, 전역 자기주의와 구조 유도 주의 모두 최종 성능에 기여하며, 융합 메커니즘이 성공의 핵심임을 확인한다.
• 모델은 다양한 아키텍처와 스케일에서 뛰어난 강건성을 보이며, 구조적 인도적 편향이 코드 표현 학습에 매우 중요함을 시사한다.