[논문 리뷰] Improving Tree-Structured Decoder Training for Code Generation via Mutual Learning

Binbin Xie, Jinsong Su외 5명|arXiv (Cornell University)|2021. 05. 31.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 전위 순회와 너비 우선 순회를 각각 사용하는 두 개의 Seq2Tree 모델을 공동으로 훈련함으로써 트리 구조 코드 생성을 향상시키기 위한 상호 학습 프레임워크를 제안한다. 훈련 과정에서 모델 간에 번갈아가며 지식을 정제함으로써 상호 보완적인 맥락 모델링을 가능하게 하여 코드 생성 벤치마크에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Code generation aims to automatically generate a piece of code given an input natural language utterance. Currently, among dominant models, it is treated as a sequence-to-tree task, where a decoder outputs a sequence of actions corresponding to the pre-order traversal of an Abstract Syntax Tree. However, such a decoder only exploits the preorder traversal based preceding actions, which are insufficient to ensure correct action predictions. In this paper, we first throughly analyze the context modeling difference between neural code generation models with different traversals based decodings (preorder traversal vs breadth-first traversal), and then propose to introduce a mutual learning framework to jointly train these models. Under this framework, we continuously enhance both two models via mutual distillation, which involves synchronous executions of two one-to-one knowledge transfers at each training step. More specifically, we alternately choose one model as the student and the other as its teacher, and require the student to fit the training data and the action prediction distributions of its teacher. By doing so, both models can fully absorb the knowledge from each other and thus could be improved simultaneously. Experimental results and in-depth analysis on several benchmark datasets demonstrate the effectiveness of our approach. We release our code at https://github.com/DeepLearnXMU/CGML.

연구 동기 및 목표

• 코드 생성에서 전위 순회 기반 디코더의 한계를 해결한다. 이는 수직적 종속성에만 의존하여 중요한 수평적 맥락을 놓칠 수 있기 때문이다.
• 너비 우선 순회 기반 디코딩이 신경망 기반 코드 생성에서 맥락 모델링을 향상시키는 데 있어 보완적인 접근법임을 탐색한다.
• 다른 순회 전략을 가진 두 모델이 훈련 중 동기식 지식 정제를 통해 상호 보완적으로 향상되도록 하는 상호 학습 프레임워크를 개발한다.
• 공동 훈련 프레임워크가 추론 복잡도나 모델 크기를 늘리지 않으면서도 모델 성능을 향상시킨다는 것을 입증한다.
• 다양한 벤치마크 데이터셋에서 프레임워크의 효과성과 일반화 능력을 검증한다.

제안 방법

• 전위 순회를 사용하는 모델(표준 방법)과 너비 우선 순회를 사용하는 모델을 각각 훈련하여 액션 시퀀스를 생성한다.
• 각 훈련 단계에서 한 모델이 학생, 다른 모델이 교사로 작용하는 상호 정제 메커니즘을 구현한다.
• 각 단계에서 학생 모델은 참값 액션과 동시에 교사 모델의 예측 액션 분포를 따라야 한다.
• 훈련 단계를 거치며 학생과 교사의 역할을 번갈아가며 대칭적인 지식 전이와 상호 향상을 보장한다.
• Tranx 모델을 기본 아키텍처로 사용하며, 동일한 디코더 구조를 유지하면서 너비 우선 순회 디코딩을 지원하도록 수정한다.
• 학생의 액션 예측 분포를 교사의 것과 일치시키기 위해 지식 정제 손실을 적용함으로써 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 너비 우선 순회 기반 디코딩은 전위 순회 기반 디코딩과 함께 코드 생성에서 보완적인 맥락 모델링을 제공할 수 있는가?
• RQ2 다른 순회 전략을 가진 모델 간의 상호 지식 정제가 코드 생성 성능에 어떤 영향을 미치는가?
• RQ3 제안된 상호 학습 프레임워크는 다양한 코드 생성 벤치마크에서 모델의 일반화 능력과 강건성을 향상시키는가?
• RQ4 상호 학습 프레임워크는 모델 크기나 추론 복잡도를 늘리지 않으면서도 성능 향상을 이룰 수 있는가?
• RQ5 다른 순회 전략을 가진 두 모델은 특정 코드 생성 오류(예: 잘못된 함수 이름 또는 인자 생성)를 다룰 때 어떻게 비교되는가?

주요 결과

• 제안된 상호 학습 프레임워크는 Django, Python-300, Java-100를 포함한 여러 벤치마크 데이터셋에서 코드 생성 성능을 뚜렷이 향상시켰다.
• 상호 학습을 통해 향상된 모델은 거의 모든 테스트 그룹에서 기준 모델을 뛰어넘었으며, 정확 일치 및 BLEU 점수에서 일관된 향상을 보였다.
• 사례 연구 결과, 상호 학습 모델이 두 순회 전략의 강점을 조합함으로써 일반적인 오류(예: 잘못된 함수 이름, 잘못된 인자 생성)를 성공적으로 해결하는 데 기여했다.
• 너비 우선 순회 모델만으로도 경쟁적인 성능를 달성하여, 비전위 순회 방식이 코드 생성에 실질적이고 효과적인 대안임을 시사한다.
• 상호 학습 프레임워크는 단일 LSTM 디코더를 사용함에도 불구하고, 상태의 최선(SOTA) 이중 순환 디코더(Alvarez-Melis and Jaakkola, 2017)를 뛰어넘는 성능을 달성했다.
• 프레임워크는 다양한 프로그래밍 언어와 코드 복잡도 수준에서 일관된 향상을 보이며 강력한 일반화 능력을 입증했다.