[논문 리뷰] CodePAD: Sequence-based Code Generation with Pushdown Automaton

Yihong Dong, Xue Jiang외 3명|arXiv (Cornell University)|2022. 11. 02.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 문법적 정확성을 코드 생성 중에 보장하기 위해 푸시다운 오토마타(PDA) 모듈을 통합한 순서 기반 코드 생성 프레임워크인 CodePAD를 제안한다. PDA 상태 표현과 상태를 함께 예측하는 방식을 통해 CodePAD는 기준 데이터셋에서 100%의 문법적 정확성을 확보하며, 기초 모델 및 CodeGen-350M와 같은 사전 훈련된 모델보다 CodeBLEU 및 EM 점수를 크게 향상시킨다.

ABSTRACT

In the process of code generation, it is essential to guarantee the generated code satisfies grammar constraints of programming language (PL). However, neglecting grammar constraints is a fatal drawback of commonly used sequence-based code generation. In this paper, we devise a pushdown automaton (PDA)-based methodology to address this problem, exploiting the principle that PL is a subset of PDA recognizable language and code accepted by PDA is grammatical. Specifically, we construct a PDA module and design an algorithm to constrain the generation of sequence-based models to ensure grammatical correctness. Guided by this methodology, we further propose CodePAD, a sequence-based code generation framework equipped with a PDA module, to integrate the deduction of PDA into deep learning. Additionally, this framework can leverage states of PDA deduction (including state representation, state prediction task, and joint prediction with state) to assist models in learning PDA deduction. To comprehensively evaluate CodePAD, we construct a PDA for Python and conduct extensive experiments on four public benchmark datasets. CodePAD can leverage existing sequence-based models, and we show that it can achieve 100\% grammatical correctness percentage on these benchmark datasets. Thus, it relatively improve 17\% CodeBLEU on CONALA, 8\% EM on DJANGO, and 15\% CodeBLEU on JUICE-10K compared to base models. In addition, our method significantly enhances pre-trained models, e.g., CodeBLEU of CodeGen-350M improvement from 3.21 to 21.54 on MBPP in zero-shot setting.

연구 동기 및 목표

• 순서 기반 코드 생성 모델의 핵심적 한계인 강력한 의미적 성능에도 불구하고 문법적으로 잘못된 코드를 생성하는 문제를 해결하기 위해.
• 비싼 파싱 또는 AST 기반 접근 방식에 의존하지 않고도 코드 생성 중에 문법적 정확성을 보장하는 방법을 개발하기 위해.
• 순서 모델에 PDA 기반의 문법 제약 조건을 통합하면서도 실생활 응용 분야인 코드 완성과 같은 효율성과 유연성을 유지하기 위해.
• PDA 상태 표현, 상태 예측 및 공동 예측의 효과를 코드 생성 품질 향상에 기여하는지 평가하기 위해.

제안 방법

• 프로그래밍 언어(예: 파이썬)의 문법을 푸시다운 오토마타로 모델링하는 PDA 모듈을 설계하여 유효한 코드 시퀀스를 인식할 수 있도록 한다.
• 생성 과정 중에 PDA 추론을 시뮬레이션하는 알고리즘을 개발하여, 현재 PDA 상태가 인식하는 유효한 종단 기호 집합에서만 다음 토큰을 선택하도록 보장한다.
• PDA 상태를 모델의 히든 공간에 임bedding하는 상태 표현을 도입하여 어텐션 메커니즘을 활용한 엔드 투 엔드 훈련을 가능하게 한다.
• 다중 태스크 목적을 사용하여 다음 토큰과 다음 PDA 상태를 함께 예측하도록 모델을 훈련시키며, 두 손실를 균형 잡기 위해 가속도 계수 α를 학습 가능한 방식으로 사용한다.
• 추론 과정에서 PDA 상태 제약 조건을 적용한 빔 서치를 사용하여 문법적으로 유효한 시퀀스만 생성되도록 보장한다.
• 완전하고 유효한 코드 시퀀스가 생성되었을 때만 생성을 종료하기 위해 PDA의 수용 상태 집합을 활용한다.

실험 결과

연구 질문

• RQ1 RQ1: 사전 훈련되지 않은 트리 기반 방법과 비교했을 때 CodePAD는 얼마나 우수한 성능을 보이는가? 이는 문법적 정확성을 보장하지만 사전 훈련이 없는 상태에서의 성능이다.
• RQ2 RQ2: PDA 기반 방법의 각 구성 요소—상태 표현, 상태 예측, 공동 예측—가 전체 성능에 기여하는 정도는 어떠한가?
• RQ3 RQ3: PDA 모듈은 CodeGen 및 CodeT5와 같은 사전 훈련된 순서 기반 모델의 효과성을 어떻게 향상시키는가?
• RQ4 RQ4: PDA 모듈은 추론 과정에서 CodePAD가 어떻게 문법적으로 정확한 코드를 생성할 수 있도록 하는가?

주요 결과

• CodePAD는 모든 네 가지 벤치마크 데이터셋에서 100%의 문법적 정확성을 달성하여 생성된 코드의 문법 오류를 완전히 제거했다.
• CONALA 데이터셋에서 CodePAD는 기초 모델 대비 CodeBLEU 점수를 17% 향상시켰으며, DJANGO 데이터셋에선 EM 점수를 8% 향상시켰다.
• MBPP 벤치마크에서, CodeGen-350M의 CodeBLEU 점수는 Zero-shot 설정에서 CodePAD로 미세조정된 후 3.21에서 21.54로 상승했다.
• 손실 가중치에 대한 최적의 하이퍼파라미터 α는 LSTM 기반 CodePAD의 경우 1.0으로 확인되었으며, Transformer 기반 모델의 경우 데이터셋에 따라 다름을 보여주며, 상태 예측 태스크의 높은 효과성을 입증했다.
• CONALA에서 컴파일 성공률은 99.2%에 도달했으며, 대부분의 컴파일 오류는 문법 오류가 아니라 의미적 또는 타입 불일치에서 기인했으며, 이는 문법적 정확성이 컴파일에 대한 견고한 기반을 제공한다는 것을 시사한다.
• PDA 모듈은 불완전한 코드를 전체적으로 파싱하지 않아도 되므로, 토큰 단위의 시행착오 방식의 고비용을 피하면서도 생성 중에 효율적이고 실시간으로 문법 검증을 수행할 수 있도록 한다.