[논문 리뷰] Language Modelling for Source Code with Transformer-XL

Thomas Dowdell, Hongyu Zhang|arXiv (Cornell University)|2020. 07. 31.

Software Engineering Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 대규모 파이썬 코퍼스에서 소스 코드 언어 모델링을 위해 Transformer-XL을 평가하며, RNN 기반 모델(LSTM 및 GRU)보다 소프트웨어의 자연스러움을 더 잘 포착함을 입증한다. 깊이가 두 배이지만 8층 Transformer-XL은 반으로도 채 안 되는 시간에 학습이 끝나며, 유의미하게 뛰어난 성능을 달성하여 코드 모델링 작업에 있어 열등한 효율성의 우수한 선택임을 입증한다.

ABSTRACT

It has been found that software, like natural language texts, exhibits "naturalness", which can be captured by statistical language models. In recent years, neural language models have been proposed to represent the naturalness of software through deep learning. In this paper, we conduct an experimental evaluation of state-of-the-art neural language models for source code, including RNN-based models and Transformer-XL based models. Through experiments on a large-scale Python code corpus, we find that the Transformer-XL model outperforms RNN-based models (including LSTM and GRU models) in capturing the naturalness of software, with far less computational cost.

연구 동기 및 목표

• 최신 신경 언어 모델이 소스 코드에 대해 어떻게 작용하는지 평가하며, 특히 Transformer-XL과 RNN 기반 모델(LSTM, GRU)에 초점을 맞춘다.
• Transformer-XL이 언어 모델링을 통해 소프트웨어의 자연스러움을 얼마나 잘 포착하는지 평가한다.
• 대규모 파이썬 코드 데이터셋에서 다양한 모델 간의 학습 효율성과 성능을 비교한다.
• 더 깊은 Transformer-XL 아키텍처가 계산 비용을 관리 가능한 수준에서 더 나은 성능을 낼 수 있는지 조사한다.

제안 방법

• 연구는 언어 모델을 훈련하고 평가하기 위해 대규모 파이썬 코드 코퍼스를 사용한다.
• 네 가지 모델을 구현하고 비교한다: 4층 및 8층 Transformer-XL, 4층 LSTM 및 GRU 모델.
• 모델들은 시퀀스의 코드 토큰을 기반으로 다음 토큰을 예측하도록 훈련되며, 교차 엔트로피 손실를 사용한다.
• Transformer-XL의 자기주의 메커니즘은 병렬 계산과 시퀀스 간 장거리 의존성 모델링을 가능하게 한다.
• Transformer-XL은 세그먼트 기반 반복과 메모리 상태를 사용하여 시퀀스 경계를 넘어서도 맥락을 유지함으로써 장기적 이해를 향상시킨다.
• 동일한 하드웨어에서 학습 시간을 정규화하여 계산 효율성의 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Transformer-XL 모델은 소스 코드 자연스러움을 모델링하는 데 있어 RNN 기반 모델(LSTM 및 GRU)보다 우수한가?
• RQ2 Transformer-XL 모델의 깊이를 늘일 경우 성능과 학습 시간에 어떤 영향을 미치는가?
• RQ3 Transformer-XL은 소스 코드 언어 모델링을 훈련하는 데 있어 RNN 모델 대비 상대적으로 얼마나 효율적인가?
• RQ4 Transformer-XL의 장거리 의존성 모델링 능력은 RNN보다 더 나은 코드 표현을 가능하게 하는가?

주요 결과

• 4층 Transformer-XL 모델은 낮은 퍼플렉서티를 측정함으로써 4층 LSTM 및 GRU 모델보다 소프트웨어의 자연스러움을 더 잘 포착한다.
• 8층 Transformer-XL 모델은 4층 버전보다 더 나은 성능을 달성하지만, RNN과 Transformer-XL 간의 성능 향상 폭에 비해 개선 폭은 더 작다.
• 층 수와 파rameter 수가 두 배이지만, 8층 Transformer-XL은 4층 RNN 모델보다 학습 시간이 반 이하로 줄어든다.
• 4층 Transformer-XL 모델은 정규화된 학습 시간이 가장 짧으며(1.0), LSTM(4.2) 및 GRU(3.58)보다 유의미하게 뛰어나다.
• Transformer-XL은 훨씬 짧은 학습 시간으로 뛰어난 성능을 달성하여 높은 효율성과 확장성을 보여준다.
• 결과는 RNN 기반 모델보다 Transformer-XL이 소스 코드 언어 모델링에 더 효과적이고 효율적인 아키텍처임을 시사한다.