[논문 리뷰] Structured Generative Models of Natural Source Code

Chris J. Maddison, Daniel Tarlow|arXiv (Cornell University)|2014. 01. 02.

Software Engineering Research참고 문헌 28인용 수 93

한 줄 요약

이 논문은 컴파일러 유사 추론과 계층적 구조 모델링을 통합하여 확률적 문맥 자유 문법(PCFG)과 신경 기반 확률 언어 모델을 확장함으로써 자연스러운 소스 코드(NSC)를 위한 구조적 생성 모델을 제안한다. 이를 통해 유도된 로그-선형 트리 탐색(LTT) 모델은 보존된 코드에서 예측 로그우도 측면에서 기존 모델들을 크게 능가하며, 스코프 규칙, 블록 구조, 변수 사용 패턴을 포착하여 더 현실적이고 의미적으로 일관된 코드 샘플을 생성한다.

ABSTRACT

We study the problem of building generative models of natural source code (NSC); that is, source code written and understood by humans. Our primary contribution is to describe a family of generative models for NSC that have three key properties: First, they incorporate both sequential and hierarchical structure. Second, we learn a distributed representation of source code elements. Finally, they integrate closely with a compiler, which allows leveraging compiler logic and abstractions when building structure into the model. We also develop an extension that includes more complex structure, refining how the model generates identifier tokens based on what variables are currently in scope. Our models can be learned efficiently, and we show empirically that including appropriate structure greatly improves the models, measured by the probability of generating test programs.

연구 동기 및 목표

• 인간이 작성한, 계층적이고 의미적으로 구조화된 자연스러운 소스 코드(NSC)에 특화된 생성 모델을 개발하기 위해.
• 소스 코드의 통합된 확률 모델을 학습시켜 코드 완성, 버그 검출, 코드 요약 향상을 위해.
• 신경망 및 확률 모델에 컴파일러 유사 추론을 통합하여 언어 고유의 제약 조건과 스코프 규칙을 더 잘 포착하기 위해.
• 구조적 생성 모델링이 표준 NLP나 n-gram 기반 모델 대비 더 높은 성능과 더 현실적인 코드 샘플을 생성함을 입증하기 위해.
• 생성 모델이 프로그램 유도, API 제안, 코드 표현 학습 등의 후속 작업 기반으로 활용될 잠재력을 탐색하기 위해.

제안 방법

• 소스 코드의 계층적 트리 구조를 모델링하기 위해 로그-선형 파arameterization을 확률적 문맥 자유 문법(PCFG)에 확장한다.
• 트리 구조 생성과 신경망 기반 파arameterization을 결합한 로그-선형 트리 탐색(LTT) 모델을 도입하여 효율적인 추론과 학습을 가능하게 한다.
• 지역 및 전역 변수 스코프를 모델링함으로써 컴파일러 유사 추론을 구현하여 문법적으로나 의미적으로 타당한 코드 생성을 보장한다.
• 블록 문장과 메서드 본문을 모델링하기 위해 계층적 시퀀스 모델(Hi&Seq)을 사용하여 평탄한 시퀀스 기반 모델 대비 더 나은 구조 모델링 성능을 달성한다.
• 로컬 및 글로벌 식별자 토큰을 구분하는 스코프 인식 모델을 도입하여 생성 비용을 감소시키고 정확도를 향상시킨다.
• Roslyn 컴파일러의 풍부한 AST 및 심볼 정보를 활용하여 공개 저장소의 C# 소스 코드 코퍼스를 기반으로 효율적으로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 PCFG와 신경 기반 파arameterization을 융합한 구조적 생성 모델이 자연스러운 소스 코드를 모델링하는 데 있어 표준 NLP나 n-gram 모델보다 우수한 성능을 보일 수 있는가?
• RQ2 스코프 추적 및 타입 제약 조건과 같은 컴파일러 유사 추론을 통합할 경우 생성된 코드의 품질은 어떻게 영향을 받는가?
• RQ3 계층적이고 구조적인 구성 요소(예: for 루프, 블록, 메서드 선언)가 로그우도 향상과 현실성 향상에 얼마나 기여하는가?
• RQ4 명시적 지도 학습 없이도 모델이 변수 재사용 및 스코프 규칙과 같은 미세한 문법 패턴을 학습할 수 있는가?
• RQ5 다양한 아키텍처 구성 요소(예: 스코프 모델링, 블록 모델링)가 전체 예측 성능에 기여하는 정도는 어떠한가?

주요 결과

• LTT-HiSeq-Scope 모델은 테스트 로그우도 -2.33를 기록하여 기준 LBL n-gram 모델의 -4.23보다 유의미하게 뛰어나다.
• Hi&Seq 기준 모델 대비 트리 구조 생성 비용은 높지만, 토큰 생성 비용은 훨씬 낮아 구조적 효율성이 뛰어나다는 것을 보여준다.
• 글로벌 스코프에서 온 식별자 토큰이 총 로그확률의 30.1% 기여를 하며 가장 큰 기여를 하였고, 로컬 스코프 식별자(10.9%)와 블록 문장(10.6%)이 이어져 핵심 모델링 과제를 드러낸다.
• 질적 샘플 분석 결과, 모델은 적절한 스코프를 갖춘 현실적인 for 루프, 변수 재사용, 'int' 변수가 대괄호 안에 나타나는 문법 패턴을 잘 생성한다.
• 모델은 메서드 선언 및 블록 중첩과 같은 고수준 코드 구조를 포착하며, 중첩 루프에서 'Math.Max'의 사용과 같은 미세한 패턴도 학습한다.
• 스코프 모델은 기준 모델 대비 토큰 생성 비용을 1.68 감소시켜, 평탄한 시퀀스 생성 대비 구조적 모델링의 유용성을 입증한다.