[논문 리뷰] TreeGen: A Tree-Based Transformer Architecture for Code Generation

Zeyu Sun, Qihao Zhu외 4명|arXiv (Cornell University)|2019. 11. 22.

Software Engineering Research참고 문헌 23인용 수 18

한 줄 요약

TreeGen은 추상 구문 트리(abstract syntax tree, AST) 구조와 주목적 메커니즘을 통합하여 장거리 종속성 및 구조 모델링 과제를 해결함으로써 코드 생성 성능을 향상시키는 새로운 트리 기반 Transformer 아키텍처이다. 이는 HearthStone 벤치마크에서 이전 최고 성능 대비 정확도를 4.5%p 향상시키며 최첨단 성능을 달성하였고, ATIS 및 GEO 의미 분석 벤치마크에서는 각각 89.1%와 89.6%의 정확도를 기록하였다.

ABSTRACT

A code generation system generates programming language code based on an input natural language description. State-of-the-art approaches rely on neural networks for code generation. However, these code generators suffer from two problems. One is the long dependency problem, where a code element often depends on another far-away code element. A variable reference, for example, depends on its definition, which may appear quite a few lines before. The other problem is structure modeling, as programs contain rich structural information. In this paper, we propose a novel tree-based neural architecture, TreeGen, for code generation. TreeGen uses the attention mechanism of Transformers to alleviate the long-dependency problem, and introduces a novel AST reader (encoder) to incorporate grammar rules and AST structures into the network. We evaluated TreeGen on a Python benchmark, HearthStone, and two semantic parsing benchmarks, ATIS and GEO. TreeGen outperformed the previous state-of-the-art approach by 4.5 percentage points on HearthStone, and achieved the best accuracy among neural network-based approaches on ATIS (89.1%) and GEO (89.6%). We also conducted an ablation test to better understand each component of our model.

연구 동기 및 목표

• 원격한 코드 요소(예: 변수 참조 및 정의) 간의 의미적 연결이 발생하는 코드 생성의 장거리 종속성 문제를 해결하기 위해.
• AST 문법 규칙과 트리 구조 정보를 신경망 아키텍처에 통합하여 코드 생성의 구조 모델링을 향상시키기 위해.
• 계층적 프로그램 구조를 포착하는 데 한계가 있는 표준 RNN 및 평탄한 신경망의 한계를 극복하기 위해.
• Transformer의 장거리 종속성 처리 능력과 트리 기반 컨볼루션의 구조 인식 능력을 결합한 하이브리드 아키텍처를 설계하기 위해.
• 특히 구조 컨볼루션 레이어를 초기 Transformer 블록에 배치하는 것과 같은 구성 요소별 설계 선택의 효과를 평가하기 위해.

제안 방법

• TreeGen은 세 부분으로 구성된 아키텍처를 사용한다: 입력 설명을 위한 자연어(NL) 리더(에코더), 부분 AST 인코딩을 위한 첫 번째 몇 개의 Transformer 디코더 블록(구조 컨볼루션 포함)인 AST 리더, 그리고 문법 규칙 예측을 위한 나머지 블록인 디코더.
• AST 리더는 노드 표현과 구조적 이웃을 결합하는 새로운 구조 컨볼루션 서브레이어를 사용하지만, 원래의 노드 정보를 유지하기 위해 첫 번째 몇 개의 Transformer 블록에서만 적용된다.
• 모델은 각 단계에서 예측된 규칙를 사용해 AST의 노드를 확장하는 방식으로 코드 생성을 문법 규칙 분류 작업의 시퀀스로 프레임화한다.
• Transformer 아키텍처의 자기 주목적 메커니즘을 활용하여 원격한 코드 요소 간의 장거리 종속성을 모델링한다.
• 모델은 문자, 문법 규칙, 식별자에 대해 학습된 임bedding을 사용하며, 순서 유지를 위해 위치 인코딩을 적용한다.
• 제거 분석(ablation studies)은 각 구성 요소의 기여도를 평가하며, 식별자 인코딩, 장거리 종속성 모델링, 구조 정보 통합을 포함한다.

실험 결과

연구 질문

• RQ1 기존 표준 모델 대비 트리 기반 Transformer 아키텍처에 AST 구조를 통합하면 코드 생성 정확도가 향상되는가?
• RQ2 모든 블록에 구조 컨볼루션 레이어를 적용하는 것보다 초기 블록에만 적용하는 것이 성능을 더 좋게 하는가?
• RQ3 주목적 메커니즘이 코드 생성 작업에서 장거리 종속성을 포착하는 데 얼마나 효과적인가?
• RQ4 식별자 인코딩과 문법 규칙 표현이 모델 성능에 얼마나 기여하는가?
• RQ5 제안된 아키텍처는 다양한 코드 생성 및 의미 분석 벤치마크에 일반화 가능한가?

주요 결과

• TreeGen은 이전 최고 성능 대비 HearthStone 파이썬 코드 생성 벤치마크에서 4.5%p의 정확도 향상을 기록하였다.
• ATIS 의미 분석 벤치마크에서 TreeGen은 89.1%의 정확도를 기록하여 모든 신경망 기반 접근 방식 중에서 가장 높은 성능을 달성하였다.
• GEO 의미 분석 벤치마크에서 TreeGen은 89.6%의 정확도를 기록하여 역시 신경망 모델 중에서 최고 성능을 기록하였다.
• 제거 분석 결과, 초기 블록에만 구조 컨볼루션을 적용하는 것이 모든 블록에 적용하는 것보다 유의미하게 뛰어나며, 설계 선택의 타당성을 입증하였다.
• 식별자 인코딩, 주목적 메커니즘을 통한 장거리 종속성 모델링, 또는 구조 정보 통합을 제거할 경우 모두 성능 저하가 발생했으며, 이는 이 요소들이 핵심적인 역할을 한다는 것을 확인하였다.
• BLEU 점수는 구성 요소 제거 시 종종 상승했지만, StrAcc와 Acc+ (구조적 일치 및 정확한 일치 정확도)는 감소하여, 코드 생성 과정에서 구조적 정확성이 우선시됨을 시사한다.