[논문 리뷰] Guiding Language Models of Code with Global Context using Monitors

Lakshya A Agrawal, Aditya Kanade외 3명|arXiv (Cornell University)|2023. 06. 19.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 코드 언어 모델의 성능을 햖थ기 위해 정적 분석을 모니터를 통해 통합하여 코드 생성 중 전역적 맥락을 제공하는 모니터 가이드드 디코딩(MGD)을 제안한다. 로그릿 마스킹을 통해 레포지터리 전체의 타입 및 의미 분석을 활용하여 디코딩을 안내함으로써, MGD는 컴파일 성공률과 지표 일치율을 향상시키며, SantaCoder-1.1B와 같은 작은 모델이 text-davinci-003와 같은 더 큰 모델을 능가하도록 한다.

ABSTRACT

Language models of code (LMs) work well when the surrounding code provides sufficient context. This is not true when it becomes necessary to use types, functionality or APIs defined elsewhere in the repository or a linked library, especially those not seen during training. LMs suffer from limited awareness of such global context and end up hallucinating. Integrated development environments (IDEs) assist developers in understanding repository context using static analysis. We extend this assistance, enjoyed by developers, to LMs. We propose monitor-guided decoding (MGD) where a monitor uses static analysis to guide the decoding. We construct a repository-level dataset PragmaticCode for method-completion in Java and evaluate MGD on it. On models of varying parameter scale, by monitoring for type-consistent object dereferences, MGD consistently improves compilation rates and agreement with ground truth. Further, LMs with fewer parameters, when augmented with MGD, can outperform larger LMs. With MGD, SantaCoder-1.1B achieves better compilation rate and next-identifier match than the much larger text-davinci-003 model. We also conduct a generalizability study to evaluate the ability of MGD to generalize to multiple programming languages (Java, C# and Rust), coding scenarios (e.g., correct number of arguments to method calls), and to enforce richer semantic constraints (e.g., stateful API protocols). Our data and implementation are available at https://github.com/microsoft/monitors4codegen .

연구 동기 및 목표

• 전역 맥락(예: 다른 파일이나 라이브러리의 타입)이 누락되었을 때 코드 언어 모델이 식별자와 타입을 환영하는 데에 한계가 있다는 문제를 해결하기 위해.
• 개발자가 사용하는 IDE 수준의 정적 분석 기능을 재학습 없이도 코드 생성 모델에 확장하기 위해.
• 레포지터리 전체 분석을 활용하여 타입 및 의미 일관성을 강제함으로써 추론 시점에만 작동하는 모듈러한 방법을 설계하기 위해.
• 프로그래밍 언어(예: 자바, C#, 루스트), 코딩 작업(예: 메서드 인자 수), 의미적 제약 조건(예: API 프로토콜)에 걸쳐 일반화 가능성 평가하기 위해.
• 작은 모델에 MGD를 적용했을 때 더 큰, 조정되지 않은 모델보다 코드 생성 품질에서 뛰어나지 않는가를 입증하기 위해.

제안 방법

• 로그릿 마스킹을 통해 정적 분석을 활용하여 토큰 생성을 안내하는 디코딩 단계 향상 기법인 모니터 가이드드 디코딩(MGD)을 제안한다.
• 모니터를 상태 기반 인터페이스로 정의하여 생성된 코드를 관찰하고, 트리거 지점(예: 객체 참조)에서 정적 분석을 쿼리한다.
• 정적 분석 결과를 토큰 마스크로 변환하여 디코딩 중 언어 모델의 다음 토큰 확률 분포를 재구성한다.
• 언어 서버 프로토콜(LSP)을 사용하여 전체 레포지터리 및 종속성, 빌드 아티팩트(예: Lombok, Protobuf)로부터 타입 및 의미 정보에 액세스한다.
• 지표 일관성 있는 완성 및 전역 맥락 주석이 포함된 자바 메서드 완성용 새로운 데이터셋인 PragmaticCode를 구축한다.
• 아키텍처 변경 없이도 기존 코드 언어 모델(SantaCoder, text-davinci-003 등)에 MGD를 통합한다.

실험 결과

연구 질문

• RQ1 정적 분석에서 유래한 전역 타입 및 의미 맥락을 통합함으로써 MGD는 코드 생성 정확도와 컴파일 성공률을 향상시킬 수 있는가?
• RQ2 MGD로 보강된 작은 코드 언어 모델이, 조정되지 않은 더 큰 모델보다 코드 생성 품질에서 뛰어나질 수 있는가?
• RQ3 MGD는 자바, C#, 루스트와 같은 여러 프로그래밍 언어와 다양한 코딩 시나리오(예: 올바른 인자 수, API 프로토콜 준수)에 일반화되는가?
• RQ4 잘못된 메서드 이름, 필드 접근 또는 반환 타입과 관련된 환영 현상을 줄이는데 MGD는 얼마나 효과적인가?
• RQ5 FIM, RLPG와 같은 다른 프롬프팅 기법과 MGD를 효과적으로 조합하면 지표 일치율을 추가로 향상시킬 수 있는가?

주요 결과

• SantaCoder-1.1B에 MGD를 적용한 결과, 훨씬 더 큰 text-davinci-003 모델보다 높은 컴파일 성공률과 더 나은 다음 식별자 일치율을 확보했다.
• PragmaticCode 데이터셋에서 MGD는 다양한 파rameter 스케일을 가진 모델 전반에서 컴파일 성공률과 지표 일치율을 일관되게 향상시켰다.
• MGD는 식별자 생성 시 환영 현상을 줄였다—예를 들어 'host'와 'port'와 같은 잘못된 이름을 'getDescription'과 'of'와 같은 올바른 이름으로 대체했다.
• 컴파일 가능한 코드를 생성하지만 잘못된 코드일 경우, MGD는 FIM 또는 RLPG와 같은 프롬프트 증강 기법과 조합하면 지표와 완전히 일치할 수 있었다.
• MGD는 C#과 루스트로도 효과적으로 일반화되었으며, 인자 수 불일치나 상태 기반 API 프로토콜 준수와 같은 상황에서 정확도를 향상시켰다.
• 이 방법은 로컬 자동 회귀 디코딩에서 얻을 수 없는 레포지터리 전체 맥락에 액세스할 수 있도록 함으로써, 작은 모델이 더 큰 모델을 능가하도록 만들었다.