[논문 리뷰] Modeling Vocabulary for Big Code Machine Learning

Hlib Babii, Andrea Janes외 1명|arXiv (Cornell University)|2019. 04. 03.

Software Engineering Research참고 문헌 68인용 수 25

한 줄 요약

이 논문은 소스 코드에서 대규모 신경 언어 모델(NLM)을 훈련시키기 위한 핵심 어휘 모델링 선택 사항을 조사하며, Byte-Pair Encoding(BPE) 및 전략적 토큰 필터링과 같은 기법들이 어휘 크기를 최대 세 자리 수준으로 감소시킨다는 것을 입증한다. 저자들은 10,106개의 프로젝트로 구성된 코퍼스에서 경쟁 가능한 NLM을 성공적으로 훈련시켰으며, 분당 27개 프로젝트의 속도를 기록하여 코드 지능 작업을 위한 확장 가능한 사전 훈련 및 전이 학습을 가능하게 한다.

ABSTRACT

When building machine learning models that operate on source code, several decisions have to be made to model source-code vocabulary. These decisions can have a large impact: some can lead to not being able to train models at all, others significantly affect performance, particularly for Neural Language Models. Yet, these decisions are not often fully described. This paper lists important modeling choices for source code vocabulary, and explores their impact on the resulting vocabulary on a large-scale corpus of 14,436 projects. We show that a subset of decisions have decisive characteristics, allowing to train accurate Neural Language Models quickly on a large corpus of 10,106 projects.

연구 동기 및 목표

• 기계 학습 모델에서 매우 크고 다양한 소스 코드 어휘를 관리하는 데 도전 과제를 해결하기 위해.
• 다양한 어휘 모델링 결정이 어휘 크기, OOV(Out-of-Vocabulary) 비율 및 훈련 가능성에 미치는 영향을 조사하기 위해.
• 최적의 구성 선택 사항을 규명함으로써 대규모 코드 코퍼스에서 신경 언어 모델(NLM)의 확장 가능한 훈련을 가능하게 하기 위해.
• 적절한 어휘 모델링을 통해 NLM이 소스 코드 완성 및 언어 모델링 작업에서 경쟁 가능한 성능을 달성하면서도 효율적으로 훈련될 수 있음을 입증하기 위해.

제안 방법

• 어휘 크기, 토큰 수, OOV 비율에 대한 어휘 모델링 선택 사항의 영향을 평가하기 위해 14,436개의 오픈소스 프로젝트를 분석한다.
• 식별자에 대해 서브워드 인코딩을 위해 Byte-Pair Encoding(BPE)를 적용하여 어휘 크기를 줄이고 의미를 유지한다.
• 비영어 소스 파일과 희귀 리터럴을 제외하기 위해 히우리스틱 필터링을 사용하여 노이즈와 어휘 팽창을 줄인다.
• LSTM 및 QRNN 아키텍처를 사용하여 대규모 코퍼스인 10,106개의 프로젝트에서 여러 NLM을 훈련하고 평가한다.
• 고정된 어휘를 유지함으로써 훈련 효율성을 최적화하고 데이터 크기에 비례하는 선형 확장성을 확보하며 빠른 피지컬 토닝을 가능하게 한다.
• 성능과 일반화 능력을 평가하기 위해 언어 모델링 및 소스 코드 완성 작업 모두에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 토큰 필터링, 케이스 처리, 서브워드 분할과 같은 다양한 어휘 모델링 선택 사항이 소스 코드에서 어휘 크기와 OOV 비율에 어떤 영향을 미치는가?
• RQ2 어떤 모델링 선택 조합이 어휘 폭발 없이 대규모 코드 코퍼스(예: 10,000개 이상의 프로젝트)에서 NLM 훈련을 가능하게 하는가?
• RQ3 BPE 및 기타 서브워드 기법을 통해 얼마나 어휘 크기를 줄일 수 있으며, 이로 인해 모델 성능에 어떤 영향을 미치는가?
• RQ4 고정된, 통제된 어휘는 대규모 코드 데이터셋에서 NLM의 훈련 속도와 확장성에 어떤 영향을 미치는가?
• RQ5 이러한 대규모 코퍼스에서 훈련된 NLM이 소스 코드 완성과 같은 후행 작업에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 어휘 모델링 선택 사항은 어휘 크기에 최대 세 자리 수준의 영향을 미칠 수 있으며, 가장 영향력 있는 결정보는 서브워드 분할과 희귀 또는 비영어 토큰의 필터링이다.
• BPE 기반 서브워드 토크나이제이션은 어휘 크기를 통제하기 위해 필수적이며, 단순한 히우리스틱 기법(예: 케이스 분할)만으로는 대규모 훈련에 충분하지 않다.
• 저자들은 10,106개의 프로젝트로 구성된 코퍼스에서 하루가 채 안 되는 시간 내에 신경 언어 모델을 성공적으로 훈련시켰으며, 분당 27개 프로젝트, 초당 50개의 소스 코드 파일의 속도를 기록했다.
• 결과적으로 생성된 모델은 언어 모델링 및 소스 코드 완성 작업 모두에서 경쟁 가능한 성능을 달성하여 코드에서의 대규모 사전 훈련의 가능성을 입증했다.
• 고정된 어휘 구성을 통해 데이터 크기에 비례하는 선형 확장성이 가능하며, 빠른 피지컬 토닝(최대 수 분 내)이 가능해 전이 학습이 코드 지능 응용 분야에서 실용적이게 된다.
• 본 연구는 BPE 및 전략적 필터링과 같은 고급 기법이 OOV 문제를 방지하고 대규모 코드 기반 NLM을 실현하기 위해 필수적임을 규명했다.