[논문 리뷰] Retrieval-Based Neural Code Generation

Shirley Anugrah Hayati, Raphaël Olivier외 4명|arXiv (Cornell University)|2018. 08. 29.

Software Engineering Research참고 문헌 19인용 수 8

한 줄 요약

이 논문은 유사한 훈련 예제에서 동작 서브트리 템플릿을 검색하고 재사용함으로써 문법적으로 정확한 코드 생성을 향상시키는 검색 기반 신경 코드 생성 모델인 ReCode를 제안한다. 동적 프ogram밍 기반 문장 정렬과 n-gram 서브트리 검색을 활용하여, 두 가지 코드 생성 작업에서 최대 +2.6 BLEU 향상으로 성능을 향상시키며, 희귀하거나 복잡한 코드 패턴에 대한 일반화 능력을 향상시킨다.

ABSTRACT

In models to generate program source code from natural language, representing this code in a tree structure has been a common approach. However, existing methods often fail to generate complex code correctly due to a lack of ability to memorize large and complex structures. We introduce ReCode, a method based on subtree retrieval that makes it possible to explicitly reference existing code examples within a neural code generation model. First, we retrieve sentences that are similar to input sentences using a dynamic-programming-based sentence similarity scoring method. Next, we extract n-grams of action sequences that build the associated abstract syntax tree. Finally, we increase the probability of actions that cause the retrieved n-gram action subtree to be in the predicted code. We show that our approach improves the performance on two code generation tasks by up to +2.6 BLEU.

연구 동기 및 목표

• 신경 코드 생성에서 희귀하거나 저빈도의 자연어 설명에 대해 복잡하고 문법적으로 올바른 코드를 생성하는 데 도전하는 것.
• 큰 또는 복잡한 코드 구조를 기억하는 데 어려움을 겪는 기존 트리 기반 모델의 한계를 극복하는 것.
• 추상 구문 트리(AS T)에서의 구조 유사성을 활용하여 신경 기계 번역에서의 검색 기반 방법을 코드 생성에 적응시키는 것.
• 희귀하거나 복잡한 코드 패턴에 대한 일반화와 정확도를 향상시키기 위해 검색된 코드 템플릿을 명시적으로 재사용하는 것.

제안 방법

• 편집 거리 기반 문장 유사도 점수를 사용하여 입력 자연어 설명과 가장 유사한 상위 M개의 훈련 예제를 검색한다.
• 검색된 코드 예제의 AST에서 n-gram 동작 서브트리를 추출하여, 코드 생성에서 재사용 가능한 구조적 패턴을 표현한다.
• 동적 프로그래밍 기반 정렬 방법을 적용하여 검색된 동작 시퀀스의 단어를 입력 NL 설명의 해당 어휘로 대체함으로써 부분 일치 처리를 가능하게 한다.
• 예측된 AST에 검색된 n-gram 동작 서브트리를 포함시키는 데 기여하는 동작의 확률을 높이기 위해 디코딩 프로세스를 수정한다.
• 전위 순회를 통해 AST를 생성하기 위해 동작 임베딩, 컨텍스트 벡터, 부모 피드백 및 복사 메커니즘을 갖춘 시퀀스-투-시퀀스 모델을 사용한다.
• 검색된 서브트리와 일치하는 동작의 확률을 높임으로써 어텐션 메커니즘에 검색 가이던스를 통합함으로써, 문법적 정확성과 구조적 관련성을 보장한다.

실험 결과

연구 질문

• RQ1 희귀하거나 복잡한 자연어 설명에 대해 구조적 코드 패턴의 검색이 신경 코드 생성 성능을 향상시킬 수 있는가?
• RQ2 트리의 선형적 구조가 없기 때문에 트리 기반 코드 생성에 서브트리 수준의 검색을 효과적으로 적용할 수 있는가?
• RQ3 동적 프로그래밍 기반 문장 정렬이 코드 생성에서 불완전하거나 부분적인 일치에 대해 검색 성능을 향상시킬 수 있는가?
• RQ4 검색된 동작 서브트리의 통합이 BLEU 점수와 문법적 정확도에 얼마나 기여하는가?
• RQ5 희귀하거나 복잡한 코드 패턴을 다룰 때 검색 기반 생성 방식이 최신 기술 모델보다 우월한가?

주요 결과

• ReCode는 두 가지 벤치마크 코드 생성 작업에서 기존 최고 성능 모델보다 최대 +2.6 BLEU 포인트 향상으로 코드 생성 성능을 향상시켰다.
• 기존 모델이 처리하지 못하는 복잡한 어휘 표현에 대해서도 정확한 코드를 생성하는 데 성공했으며, 예를 들어 특정 예제에서 action timesince(d, now, reversed)를 정확히 예측했다.
• 참고 코드에 희귀하거나 복잡한 구조적 구성요소가 포함된 경우, ReCode는 참조와 정확히 일치하지 않더라도 더 정확하고 구조적으로 올바른 코드를 생성하여 베이스라인 모델(YN17)을 능가했다.
• 검색 메커니즘이 복잡한 코드 구조를 더 잘 다룰 수 있음을 보여주었으며, HS 데이터셋 예시에서 ReCode는 베이스라인 모델이 실패한 오버로드 속성까지 정확히 추론했다.
• 개선에도 불구하고 ReCode는 종종 변수를 올바르게 복사하거나 타입을 적절히 캐스팅하지 못해 복사 메커니즘의 일반화 능력에 한계가 있음을 보여주었다.
• 유사한 훈련 예제에서의 구조적 패턴 재사용을 통해 희귀어나 OOV(Out-of-Vocabulary) 어휘에 대해 효과적으로 일반화되었으며, 희귀 시퀀스의 기억 의존도를 줄였다.