[논문 리뷰] Code Prediction by Feeding Trees to Transformers

Seohyun Kim, Jinman Zhao외 2명|arXiv (Cornell University)|2020. 03. 30.

Software Engineering Research참고 문헌 66인용 수 32

한 줄 요약

이 논문은 AST 구조를 활용하는 Transformer 모델을 사용하여 차세대 토큰 예측을 향상시키고, SeqTrans, PathTrans, TravTrans, TravTrans+를 도입하여 Python 코드 데이터셋에서 이전 방법 대비 상당한 정확도 개선을 달성합니다. TravTrans가 가장 강력한 결과를 제공하며 py150에서 평균 역상호확률(MRR) 약 58%까지, 이전 최첨단 대비 14–18 포인트 차이로 앞섭니다.

ABSTRACT

We advance the state-of-the-art in the accuracy of code prediction (next token prediction) used in autocomplete systems. First, we report that using the recently proposed Transformer architecture even out-of-the-box outperforms previous neural and non-neural systems for code prediction. We then show that by making the Transformer architecture aware of the syntactic structure of code, we further increase the margin by which a Transformer-based system outperforms previous systems. With this, it outperforms the accuracy of an RNN-based system (similar to Hellendoorn et al. 2018) by 18.3%, the Deep3 system (Raychev et al 2016) by 14.1%, and an adaptation of Code2Seq (Alon et al., 2018) for code prediction by 14.4%. We present in the paper several ways of communicating the code structure to the Transformer, which is fundamentally built for processing sequence data. We provide a comprehensive experimental evaluation of our proposal, along with alternative design choices, on a standard Python dataset, as well as on a Facebook internal Python corpus. Our code and data preparation pipeline will be available in open source.

연구 동기 및 목표

• IDE의 자동완성을 위한 차세대 토큰 예측의 동기 부여 및 개선.
• Transformer 모델에 AST 구조를 통합하는 것이 예측 정확도에 미치는 영향 평가.
• Transformer 기반의 트리 인식 모델과 이전의 비-Transformer 및 AST 기반 접근 방식 비교.
• 일반화 능력을 보여주기 위해 표준 및 내부 Python 데이터셋에서 평가.

제안 방법

• 부분 프로그램을 토큰 시퀀스로 표현하는 SeqTrans 또는 AST 기반 구조로 표현하는 PathTrans, TravTrans를 Transformer 입력으로 피드한다.
• PathTrans를 도입: 잎 노드에서 뿌리까지의 루트-path 표현을 임베딩하고 잎 임베딩과 결합하여 Transformer 입력으로 사용.
• TravTrans 도입: AST DFS 순서 토큰을 Transformer에 피드하여 구조 정보를 통합.
• TravTrans+ 도입: AttnTreeRel의 트리-relational 매트릭스 R을 통해 주의 집중에서 명시적 트리 관계 경로를 추가로 활용.
• py150 및 Facebook 내부 Python 데이터셋에서 강력한 baselines(SeqRNN, Deep3, Code2Seq)와 비교.
• 리터 토큰의 차기 토큰 예측 평가 지표로 평균 역상호확률(MRR) 사용.

실험 결과

연구 질문

• RQ1 Transformer가 차세대 토큰 Python 코드 예측에서 RNN 기반 모델을 능가하는가?
• RQ2 AST 구조를 활용한 Transformer 모델이 코드 예측에서 이전의 AST 기반 접근 방식보다 우수한가?
• RQ3 SeqTrans, PathTrans, TravTrans, TravTrans+이 데이터셋 간 정확도에서 어떤 차이를 보이는가?
• RQ4 트리-relational 개선(TravTrans+)이 TravTrans를 넘어 유익한가?
• RQ5 예측 중 TravTrans가 트리 구조를 어떻게 주의하는지에 대해 saliency 맵이 제공하는 통찰은 무엇인가?

주요 결과

• TravTrans가 py150에서 58.0% MRR로 전체 성능에서 최고를 달성하며 이전 방법보다 상당히 높은 정확도를 보인다.
• SeqTrans(기본 Transformer)는 데이터셋 및 작업에 따라 54.9–50.1% MRR에 도달하며 SeqRNN(36.6–23.8% MRR)을 능가한다.
• PathTrans 및 TravTrans는 비-Transformer AST 기본 모델(Deep3, Code2Seq) 대비 개선을 보이며, py150에서 TravTrans가 Deep3 및 Code2Seq보다 14.1–14.4 포인트의 MRR 이득을 달성한다.
• 내부 Facebook Python 데이터셋에서 Transformer 기반 모델은 베이스라인 대비 유사한 상대적 이점을 보인다.
• Saliency 분석에 따르면 TravTrans가 예측 토큰을 위한 상위 트리 영역, 특히 부모 노드를 중점적으로 주목하는 경향이 있다.