[논문 리뷰] Context Composing for Full Line Code Completion

Anton Semenkin, Yaroslav Sokolov외 1명|arXiv (Cornell University)|2024. 02. 14.

Speech and dialogue systems인용 수 1

한 줄 요약

이 논문은 10억 파라미터 미만의 컴act한 온디바이스 Transformer 모델을 사용하여 전체 라인 코드 완성에 적합한 컨텍스트 조합 기법을 제안한다. 토큰화, 범위 인식 특수 토큰, 전략적 코드 재정렬을 통해 컨텍스트 조합을 최적화함으로써, 개인정보 유출을 방지하면서도 낮은 지연 시간으로 효율적인 코드 제안을 구현하여 개발자 생산성을 향상시킨다.

ABSTRACT

Code Completion is one of the most used Integrated Development Environment (IDE) features, which affects the everyday life of a software developer. Modern code completion approaches moved from the composition of several static analysis-based contributors to pipelines that involve neural networks. This change allows the proposal of longer code suggestions while maintaining the relatively short time spent on generation itself. At JetBrains, we put a lot of effort into perfecting the code completion workflow so it can be both helpful and non-distracting for a programmer. We managed to ship the Full Line Code Completion feature to PyCharm Pro IDE and proved its usefulness in A/B testing on hundreds of real Python users. The paper describes our approach to context composing for the Transformer model that is a core of the feature's implementation. In addition to that, we share our next steps to improve the feature and emphasize the importance of several research aspects in the area.

연구 동기 및 목표

• 엄격한 지연 시간과 메모리 제약 조건 내에서 작동하는 효율적인 온디바이스 코드 완성 시스템을 개발하기 위해.
• 프로그래머의 현재 인지적 맥락을 반영하는 컨텍스트를 조합하여 코드 완성의 관련성을 향상시키기 위해.
• 모든 모델 추론이 사용자 기기의 로컬에서 이루어지도록 하여 개인정보 문제를 해결하기 위해.
• 클라우드 기반 모델에 의존하지 않고도 단일 라인 코드 제안의 품질을 향상시키기 위해.
• 모델 크기를 늘리지 않고도 성능을 향상시키는 컨텍스트 증강 기법을 탐색하기 위해.

제안 방법

• 스페이스, 주석을 제거하고 들여쓰기를 정규화하는 특수 토큰을 사용해 소스 코드를 사전 처리한다.
• 청소된 코드와 파일 경로에 대해 BPE 토크나이제이션을 적용하고, 이를 특수 토큰과 함께 조합하여 구조화된 프롬프트를 구성한다.
• 파일 확장자, 파일 경로, 커서 위의 코드를 연결하여 컨텍스트를 구성하며, 이는 모델의 최대 컨텍스트 길이를 초과하지 않도록 보장한다.
• 입력 프롬프트의 의미적 구성 요소를 분리하기 위해 <LANG_SEP_CHAR> 및 <METAINFO_SEP_CHAR>와 같은 특수 토큰을 사용한다.
• 관련 코드 조각을 커서 위치에 더 가까이 오게 하기 위해 클래스 메서드와 함수를 재정렬하는 전략을 구현한다.
• 조합된 컨텍스트를 기반으로 자동 생성을 수행하기 위해 GPT 유사 및 LLaMA 유사 자동 회귀 Transformer 모델을 사용한다.

실험 결과

연구 질문

• RQ1 온디바이스 코드 완성 시스템에서 관련성과 성능을 극대화하기 위해 컨텍스트 조합을 어떻게 최적화할 수 있는가?
• RQ2 메서드를 커서에 더 가까이 옮기는 등의 코드 조각 재정렬이 코드 완성 품질에 어떤 영향을 미치는가?
• RQ3 파일 수준의 컨텍스트 소스(예: 최근 열린 파일, 인접한 탭 등) 중에서 코드 생성에 가장 관련성이 높은 것은 무엇인가?
• RQ4 소형 온디바이스 모델에 제한된 환경에서 검색 기반 보완 또는 컨텍스트 강화 기법의 효과는 어떠한가?
• RQ5 10억 파라미터 이하의 컴act한 모델에서 코드 완성에 가장 효과적인 프롬프트 엔지니어링 전략은 무엇인가?

주요 결과

• 컨텍스트 조합 기법은 실제 사용 환경에서 전체 라인 코드 완성 제안의 관련성을 크게 향상시켰다.
• 수백 명의 실제 파이썬 개발자 대상 A/B 테스트를 통해 프로덕션 환경에서 전체 라인 코드 완성 기능의 유용성이 확인되었다.
• 오프라인 실험에서 검색 기반 보완 컨텍스트를 적용한 결과, 목표 지표에 유의미한 10% 향상이 이루어졌다.
• 개발자 직관과는 다르게, 관련 메서드를 커서에 더 가까이 배치하기 위해 코드 조각을 재정렬하는 전략은 측정 가능한 향상 효과를 보이지 않았다.
• 최근에 열린 파일이나 인접한 파일에서의 검색 기반 생성 및 컨텍스트 강화 기법은 향후 성능 향상에 큰 잠재력을 지닌다.
• 10억 파라미터 미만의 모델을 사용한 온디바이스 추론은 여전히 실현 가능하고 효율적이며, 낮은 지연 시간과 개인정보 보호를 동시에 구현할 수 있다.