[논문 리뷰] A Self-Attentional Neural Architecture for Code Completion with Multi-Task Learning

Fang Liu, Ge Li외 4명|arXiv (Cornell University)|2019. 09. 16.

Software Engineering Research참고 문헌 39인용 수 9

한 줄 요약

이 논문은 코드 완성에 대해 다중 작업 학습을 통한 자기주의 신경망 아키텍처를 제안하며, 계층적 AST 구조와 Transformer-XL을 활용하여 장거리 의존성을 모델링한다. AST 노드 유형과 값을 동시에 예측함으로써, 세 개의 실제 데이터셋에서 최신 기술 대비 우수한 성능을 달성한다.

ABSTRACT

Code completion, one of the most useful features in the Integrated Development Environments (IDEs), can accelerate software development by suggesting the libraries, APIs, and method names in real-time. Recent studies have shown that statistical language models can improve the performance of code completion tools through learning from large-scale software repositories. However, these models suffer from three major drawbacks: a) The hierarchical structural information of the programs is not fully utilized in the program's representation; b) In programs, the semantic relationships can be very long. Existing recurrent neural networks based language models are not sufficient to model the long-term dependency. c) Existing approaches perform a specific task in one model, which leads to the underuse of the information from related tasks. To address these challenges, in this paper, we propose a self-attentional neural architecture for code completion with multi-task learning. To utilize the hierarchical structural information of the programs, we present a novel method that considers the path from the predicting node to the root node. To capture the long-term dependency in the input programs, we adopt a self-attentional architecture based network as the base language model. To enable the knowledge sharing between related tasks, we creatively propose a Multi-Task Learning (MTL) framework to learn two related tasks in code completion jointly. Experiments on three real-world datasets demonstrate the effectiveness of our model when compared with state-of-the-art methods.

연구 동기 및 목표

• 코드 완성에 있어 프로그램 표현에서 계층적 구조 정보가 부족하게 활용되는 문제를 해결한다.
• 재귀 모델이 소스 코드에서 장기 의존성을 포착하는 데에 한계가 있음을 극복한다.
• 예측 노드 유형과 값과 같은 관련된 코드 완성 작업 간 지식 공유를 통해 성능을 향상시킨다.
• 다중 작업 학습과 자기주의 주의 메커니즘을 통합하여 AST 노드의 유형과 값 예측을 동시에 최적화한다.
• 제안된 아키텍처가 실제 세계의 코드 완성 벤치마크에서 효과적인지 입증한다.

제안 방법

• 예측 대상이 되는 AST 노드에서 루트 노드까지의 경로를 인코딩하는 새로운 방법을 제안하여 계층적 구조 정보를 명시적으로 모델링한다.
• RNN 모델(예: LSTM)의 한계를 극복하기 위해 장거리 의존성을 포착할 수 있는 Transformer-XL을 기본 언어 모델로 활용한다.
• 두 가지 관련된 작업(다음 AST 노드의 유형과 값 예측)을 동시에 학습하는 다중 작업 학습 프레임워크를 설계한다.
• 두 작업 간 표현 레이어를 공유하여 학습 중 지식 전이와 상호 제약을 가능하게 한다.
• OOV(Out-of-Vocabulary) 토큰을 처리하기 위해 포인터-생성기 메커니즘을 사용하여 코드 완성의 강건성을 향상시킨다.
• 구문 분석된 소스 코드에서 유도된 AST 노드 시퀀스를 기반으로 모델을 엔드 투 엔드로 훈련하며, 유형과 값 예측을 위한 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 예측 노드에서 루트까지의 계층적 경로를 모델링하면 코드 완성 정확도가 향상되는가?
• RQ2 RNN 대신 Transformer-XL을 사용하면 코드 시퀀스에서 장거리 의존성을 더 잘 모델링할 수 있는가?
• RQ3 다중 작업 학습을 통해 노드 유형과 값 예측을 동시에 학습하면 단일 작업 모델보다 성능이 향상되는가?
• RQ4 제안된 아키텍처는 코드 완성 벤치마크에서 정밀도와 재현율 측면에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ5 유형과 값 예측 작업 간 지식 공유가 일반화 능력과 강건성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 모델은 세 개의 실제 세계 코드 완성 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 유형과 값 예측 모두 이전 최신 기술 모델을 초월한다.
• 계층적 경로 인코딩을 사용함으로써 모델이 복잡한 깊이 있는 중첩 코드에서 구조적 맥락을 더 잘 포착할 수 있게 되었다.
• Transformer-XL을 통해 장거리 의존성이 더 잘 모델링되었으며, 정의상 멀리 떨어져 있는 의미적 관계를 가진 코드 스니펫에서도 성능 향상이 관찰되었다.
• 다중 작업 학습은 통계적으로 유의미한 향상을 이끌었으며, 유형과 값 예측의 동시 최적화가 일반화 능력을 향상시키고 과적합을 줄이는 데 기여했다.
• 포인터-생성기 메커니즘 덕분에 OOV 토큰에 대해 강건성을 확보하여 실제 적용 가능성에서 뛰어난 성능을 보였다.
• 제거 실험 결과 각 구성 요소(계층적 인코딩, 자기주의 주의, 다중 작업 학습)가 성능 향상에 독립적으로 기여하며 상호 보완적으로 작용하는 것으로 확인되었다.