[논문 리뷰] Code Completion by Modeling Flattened Abstract Syntax Trees as Graphs

Yanlin Wang, Hui Li|arXiv (Cornell University)|2021. 03. 17.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 평탄화된 추상구문트리(_AST_)를 그래프로 표현하여 코드 내의 순차적, 반복적, 구조적 패턴을 포착하는 새로운 코드 완성 모델 CCAG을 제안한다. 다중작업 학습과 불확실성 기반 손실 가중치를 활용한 AST 그래프 주의 블록을 사용함으로써, CCAG은 코드 완성 벤치마크에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Code completion has become an essential component of integrated development environments. Contemporary code completion methods rely on the abstract syntax tree (AST) to generate syntactically correct code. However, they cannot fully capture the sequential and repetitive patterns of writing code and the structural information of the AST. To alleviate these problems, we propose a new code completion approach named CCAG, which models the flattened sequence of a partial AST as an AST graph. CCAG uses our proposed AST Graph Attention Block to capture different dependencies in the AST graph for representation learning in code completion. The sub-tasks of code completion are optimized via multi-task learning in CCAG, and the task balance is automatically achieved using uncertainty without the need to tune task weights. The experimental results show that CCAG has superior performance than state-of-the-art approaches and it is able to provide intelligent code completion.

연구 동기 및 목표

• 기존 코드 완성 방법이 AST 내의 순차적, 반복적, 구조적 패턴을 포착하지 못하는 한계를 해결하기 위해.
• 순차적 및 구조적 종속성을 유지하는 평탄화된 AST를 그래프로 모델링하여 코드 완성 성능을 향상시키기 위해.
• 수동 하이퍼파라미터 조정 없이도 값 예측 및 유형 예측을 위한 다중작업 학습에서 자동으로 작업 균형을 이루도록 하기 위해.
• 특화된 그래프 주의 메커니즘을 통해 다양한 종속성을 포착함으로써 표현 학습을 향상시키기 위해.

제안 방법

• CCAG은 전위 깊이 우선 탐색을 사용하여 트리 구조를 평탄화함으로써 부분 AST를 그래프로 모델링하여 순차적 및 구조적 정보를 유지한다.
• AST 노드 간의 다양한 종류의 종속성을 포착하기 위해 세 가지 별도의 주의 레이어를 사용하는 AST 그래프 주의 블록(_ASTGab_)을 도입한다.
• ASTGab 내부에 잔차 연결을 적용하여 깊은 스태킹을 가능하게 하고 표현 학습을 향상시킨다.
• 값 예측 및 유형 예측을 위한 다중작업 학습을 적용하며, 불확실성 기반 손실 가중치를 사용하여 두 작업 간의 균형을 자동으로 조정한다.
• 불확실성 기반 손실 공식화를 통해 모델이 경사 하강법을 통해 엔드 투 엔드로 작업 가중치를 학습할 수 있도록 하여 수동 조정을 방지한다.
• 통합 손실 함수는 값 예측 및 유형 예측 손실을 학습 가능한 온도 파rameter와 함께 조합하며, 과적합을 방지하기 위해 정규화된다.

실험 결과

연구 질문

• RQ1 평탄화된 AST를 그래프로 모델링하면 순차적 및 구조적 패턴을 포착함으로써 코드 완성 성능 향상에 기여할 수 있는가?
• RQ2 기반 그래프 주의 메커니즘은 코드 완성에 있어 AST 내 다양한 종속성을 효과적으로 학습할 수 있는가?
• RQ3 다중작업 학습에서 불확실성 기반 손실 가중치는 수동 작업 가중치보다 더 높은 성능을 낼 수 있는가?
• RQ4 코드 내의 반복 패턴은 AST 기반 코드 완성 모델의 효과성에 어느 정도 影響을 미치는가?
• RQ5 통합된 그래프 표현 방식은 코드 완성에서 순차 기반 또는 순수 그래프 기반 AST 모델링 방식을 능가할 수 있는가?

주요 결과

• CCAG은 벤치마크 코드 완성 데이터셋에서 최신 기술 수준의 성능를 달성하여 기존 SOTA 방법을 초월한다.
• 그래프 구조의 AST 표현을 활용함으로써 값 예측 및 유형 예측 정확도가 크게 향상된다.
• 불확실성 기반 손실 가중치 메커니즘이 수동 하이퍼파라미터 조정 없이도 다중작업 학습을 효과적으로 균형 잡는 데 기여한다.
• 잔차 연결을 갖춘 AST 그래프 주의 블록은 코드 완성에서 더 깊고 효과적인 표현 학습을 가능하게 한다.
• 실험 결과는 코드 내 순차적 및 반복 패턴을 포착함으로써 모델의 일반화 능력과 예측 품질이 향상됨을 확인한다.