[논문 리뷰] Sequence Model Design for Code Completion in the Modern IDE

Gareth Ari Aye, Gail E. Kaiser|arXiv (Cornell University)|2020. 04. 10.

Software Engineering Research참고 문헌 35인용 수 20

한 줄 요약

이 논문은 문자 수준 입력과 토큰 수준 출력을 조합한 하이브리드 시퀀스 모델을 제안하며, 유효한 제안을 필터링하기 위해 정적 분석을 통합하고 반복 검출 헤드를 통해 OOV(Out-of-Vocabulary) 토큰을 예측한다. 이 설계는 실제 IDE 환경의 요구 조건—낮은 지연 시간(<110ms), 작은 모델 크기, 유효한 코드 출력—을 충족하면서도 최신 기술 수준의 정확도를 달성한다. 다트 언어 코퍼스에서 75.33%의 요청이 110ms 이내로 완료됨을 통해 이를 입증하였다.

ABSTRACT

Code completion plays a prominent role in modern integrated development environments (IDEs). Machine learning has become ubiquitous in analogous natural language writing and search software, surfacing more relevant autocompletions and search suggestions in fewer keystrokes. Prior research has reported training high-accuracy, deep neural networks for modeling source code, but little attention has been given to the practical constraints imposed by interactive developer tools. In particular, neural language models for source code modeling like the one described in Maybe Deep Neural Networks are the Best Choice for Modeling Source Code are framed around code completion, but only report accuracy of next-token prediction. However, in order for a language model (LM) to work well within real-world code completion systems, it must also always make suggestions that produce valid code that typechecks to support code completion's role in correctness-checking; return instantaneous results to help programmers code more efficiently in fewer keystrokes; and be small enough to fit comfortably on disk and in memory on developer workstations, since virtually all modern IDEs run locally and support offline usage. To meet these additional requirements, we propose a novel design for predicting top-k next tokens that combines static analysis' ability to enumerate all valid keywords and in-scope identifiers with the ability of a language model to place a probability distribution over them. Our model mixes character-level input representation with token output to represent out-of-vocabulary (OOV) tokens meaningfully and minimize prediction latency. OOV tokens can be predicted through detection of local repetition common in software. This design achieves state-of-art accuracy in source code modeling and fits the constraints imposed by real-world code completion implementations in modern IDEs.

연구 동기 및 목표

• 고정확도 신경망 기반 코드 완성 모델과 실제 IDE의 실용적 제약 조건(낮은 지연 시간, 작은 모델 크기, 유효한 코드 출력) 사이의 격차를 해소하기 위해.
• 최소한의 지연 시간 부담으로 정적 분석만으로는 부족한 코드 완성의 관련성 향상을 위해 신경망 언어 모델링을 통합하기 위해.
• 서브워드 예측이나 다중 추론 단계에 의존하지 않고도 OOV(Out-of-Vocabulary) 토큰—새로운 함수나 변수 이름에서 흔한 것들—을 예측할 수 있도록 하기 위해.
• 인터랙티브 개발 환경의 성능과 정확성 요구 조건을 충족시키면서도 높은 정확도를 유지하는 모델 설계를 위해.
• 실제 사용 시나리오에서의 모델 효과성을 검증하기 위해, 특히 저지연 응답과 오프라인 IDE 운영과의 호환성 등을 고려하기 위해.

제안 방법

• 모델은 OOV 토큰을 처리하기 위해 문자 수준 입력 표현을 사용하고, 단일 단계에서 완전한 식별자를 예측하기 위해 토큰 수준 출력 헤드를 사용하여 지연 시간을 최소화한다.
• 지역적 반복 패턴(예: 'fooBarFoo')을 탐지하는 별도의 신경 헤드를 통합하여 새로운, 이전에 보지 못한 식별자를 나타내는 신호를 제공한다.
• 정적 분석을 통해 사전에 유효한 关键어와 범위 내 식별자 집합을 계산하고 필터링하여, 모든 예측이 문법적으로 올바르고 타입 안정적임을 보장한다.
• 모델 크기와 예측 정확도의 균형을 위해 출력 어휘는 100만 개 토큰으로 제한되며, 반복 검출을 통해 OOV 예측이 가능하다.
• 실제 생산 코드 수준의 다트 언어 코드 대량 코퍼스를 기반으로 훈련하여 실제 프로그래밍 패턴에 일반화될 수 있도록 한다.
• 추론 과정에서 언어 모델의 확률 분포와 정적 분석을 결합하여 유일하게 유효한 토큰만 순위를 매기며, 정확성 확보와 검색 공간 축소를 달성한다.

실험 결과

연구 질문

• RQ1 코드 완성용 신경망 언어 모델이 실시간 IDE 사용에 적합할 정도로 빠르면서도 높은 정확도를 달성할 수 있는가?
• RQ2 서브워드 토크나이제이션에 의존하지 않고도 OOV(Out-of-Vocabulary) 식별자—새로운 함수나 변수 이름에서 흔한 것들—을 효과적으로 예측할 수 있는가?
• RQ3 인터랙티브 코드 완성 시스템에서 모델 크기, 추론 지연 시간, 예측 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ4 신경망 언어 모델링과 정적 분석을 조합하면 코드 완성 제안의 관련성과 정확도를 향상시킬 수 있는가?
• RQ5 현대 IDE에서 일반적인 저지연 조건을 충족할 때 모델의 성능은 어떠한가?

주요 결과

• 대규모 다트 코퍼스에서 소스 코드 모델링 분야에서 최신 기술 수준의 정확도를 달성하였으며, 이는 이전의 신경망 기반 및 n-gram 기반 모델을 모두 앞서며 성능을 뛰어넘었다.
• 75.33%의 예측 요청이 110ms 이내로 완료되어 인터랙티브 개발 환경에서 느끼는 즉각적인 반응 시간 기준인 100ms 이내를 충족하였다.
• 평균 예측 지연 시간은 109ms로 단축되어, 100만 개 토큰의 큰 출력 어휘를 고려할지라도 모델이 여전히 효율적임을 입증하였다.
• 하이브리드 설계 덕분에 지역 반복 검출을 통해 OOV 토큰을 정확히 예측할 수 있었으며, 서브워드 예측이나 다중 추론 단계가 필요 없어졌다.
• 신경망 언어 모델링과 정적 분석을 조합함으로써 높은 관련성을 유지하였으며, 모든 제안이 유효하고 타입 안정적임을 보장하였다.
• 이 방법은 모델 크기와 지연 시간 제약 조건에 대해 강건하여, 로컬 및 오프라인 IDE 환경에의 배포에 적합하다.