[논문 리뷰] Splitting source code identifiers using Bidirectional LSTM Recurrent Neural Network

Vadim Markovtsev, Waren Long외 4명|arXiv (Cornell University)|2018. 05. 26.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 기존 히우리스틱 기반 방법으로 신뢰성 있게 분할할 수 없는 다중 부분으로 나뉘는 소스 코드 식별자(예: 'FooBar' → 'foo bar')를 분할하기 위해 이중 방향 LSTM 순환 신경망을 제안한다. 오픈소스 프로젝트에서 유래한 3,490만 개의 식별자로 훈련된 모델은 정밀도 95%와 재현율 96%를 달성하여 GRU, CNN, 통계 모델 등의 기준 모델들을 능가하며, 후속 코드 분석 작업에서 어휘 크기를 크게 줄였다.

ABSTRACT

Programmers make rich use of natural language in the source code they write through identifiers and comments. Source code identifiers are selected from a pool of tokens which are strongly related to the meaning, naming conventions, and context. These tokens are often combined to produce more precise and obvious designations. Such multi-part identifiers count for 97% of all naming tokens in the Public Git Archive - the largest dataset of Git repositories to date. We introduce a bidirectional LSTM recurrent neural network to detect subtokens in source code identifiers. We trained that network on 41.7 million distinct splittable identifiers collected from 182,014 open source projects in Public Git Archive, and show that it outperforms several other machine learning models. The proposed network can be used to improve the upstream models which are based on source code identifiers, as well as improving developer experience allowing writing code without switching the keyboard case.

연구 동기 및 목표

• 공백이 없고 표준 명명 관례 히우리스틱으로는 해결할 수 없는 모호한 다중 부분 소스 코드 식별자를 분할하는 데 도전하는 것.
• 정확한 서브토큰 분할을 통해 어휘 크기를 줄임으로써, 식별자 임베딩, 중복 제거, 주제 모델링 등의 후속 코드 분석 작업을 향상시키는 것.
• 딥 러닝, 특히 이중 방향 LSTM이 소스 코드 토큰화에서 문자 수준의 시퀀스 모델링에 얼마나 효과적인지 탐색하는 것.
• 기계 학습을 위한 소스 코드 식별자 데이터셋 중 가장 큰 4,920만 개의 공개 데이터셋을 구축하고 배포하는 것.

제안 방법

• 문자 수준의 이중 방향 LSTM(BiLSTM) 모델이 전방 및 후방 방향으로 식별자를 처리하여 서브토큰 경계를 탐지한다.
• 두 층으로 스택된 BiLSTM 아키텍처를 사용하며, 각 층에 256개의 유닛을 할당하고, 이후 시간에 따라 분포하는 밀도층을 통해 시그모이드 활성화 함수를 사용해 분할 지점을 예측한다(1 = 분할, 0 = 분할 없음).
• 입력은 소문자로 변환된 식별자 문자열이며, 지식 기반 분할 경계는 이진 벡터로 인코딩된다. 모델은 고정 학습률 0.001을 사용한 Adam 최적화 기법으로 훈련된다.
• 하이퍼파rameter는 Hyperopt를 사용해 튜닝되었으며, 훈련은 10 에포크 동안 두 대의 NVIDIA GTX 1080 GPU에서 수행되었다.
• 모델 평가에는 20%의 검증 세트를 사용하여 정밀도, 재현율, F1 점수를 사용한다.
• 다양한 기준 모델과의 비교를 위해 문자 수준 최대 우도 모델, 통계적 동적 프로그래밍, 기울기 부스팅 결정 트리, CNN, GRU를 포함한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 모호한 소스 코드 식별자를 분할하는 데 있어 히우리스틱 및 통계적 방법을 능가할 수 있는가?
• RQ2 정확한 복합 식별자 분할을 통해 BiLSTM 모델이 코드 분석 작업에서 어휘 크기를 얼마나 줄일 수 있는가?
• RQ3 이중 방향 LSTM의 성능이 단방향 RNN, GRU, CNN과 비교해 어떻게 다른가?
• RQ4 실제 오픈소스 프로젝트에서 유래한 3,490만 개의 다각도적 대규모 데이터셋으로 훈련하는 데 어떤 영향을 미치는가?

주요 결과

• BiLSTM 모델은 F1 점수 95.2%를 기록하여 정밀도 94.7%, 재현율 95.8%를 달성하며, BiGRU, CNN, 통계 기반 기준 모델들을 모두 능가했다.
• 모델은 데이터셋 내 고유한 서브토큰 수를 2,940,710개에서 1,065,153개로 줄여 64% 감소시켰으며, 어휘 압축 효과가 뚜렷했다.
• 전방 및 후방 통과를 논리적 결합한 문자 수준 최대 우도 모델은 정밀도가 가장 높았지만(96.6%), 재현율은 낮아(57.3%) 정밀도와 완전성 사이의 상충 관계를 보였다.
• 한 번의 분할이 평균적으로 약 14개의 식별자 이후에 오류가 발생할 가능성이 50%로, 실용적 사용에 있어 높은 신뢰성을 보였다.
• 기울기 부스팅 결정 트리(F1: 92.8%)와 보정되지 않은 문자 수준 n-gram 모델(F1: 70.3%)에 비해 모델이 유의미하게 뛰어난 성능을 보여, 이 작업에 대해 딥 러닝의 우수성을 확인했다.
• 제안된 모델은 개발자가 식별자를 소문자 또는 혼합 대소문자로 입력할 때 대/소문자 전환을 줄여 타이핑 횟수를 감소시키고 타이핑 속도를 향상시킨다.