[논문 리뷰] CodeTF: One-stop Transformer Library for State-of-the-art Code LLMs

Nghi D. Q. Bui, H Le외 4명|arXiv (Cornell University)|2023. 05. 31.

Software Engineering Research인용 수 6

한 줄 요약

CodeTF는 최신 코드 대규모 언어 모델(Code LLMs)의 개발, 훈련, 배포를 간소화하기 위해 설계된 오픈소스이자 모듈러한 트랜스포머 라이브러리입니다. 사전 훈련된 모델, 데이터셋, 코드 전용 전처리 도구(예: AST 파서 및 속성 추출기)에 접근할 수 있는 통합 인터페이스를 제공하여 다양한 프로그래밍 언어와 작업에서 효율적인 미세조정 및 배포를 가능하게 합니다.

ABSTRACT

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.

연구 동기 및 목표

• 모델, 데이터셋, 작업 간 일관성 없는 인터페이스로 인해 분산된 코드 LLM 개발 환경을 통합하여 문제를 해결합니다.
• 코드 지능 작업을 위한 모듈러하고 확장 가능한 프레임워크를 제공함으로써 개발자 및 연구자의 진입 장벽을 낮춥니다.
• 훈련, 추론, 데이터 처리를 위한 표준화되고 재사용 가능한 컴포넌트를 통해 코드 LLM의 빠른 프로토타이핑 및 배포를 가능하게 합니다.
• 다양한 프로그래밍 언어와 코드 작업을 지원하기 위해 언어별 파서 및 기능 추출 유틸리티를 통합함으로써 범용성을 확보합니다.
• 일관된 인터페이스를 제공함으로써 재현 가능성과 확장성을 향상시키며, 사전 구축된 모델과 커스터마이징된 모델, 벤치마크 모두에 대해 동일한 접근 방식을 제공합니다.

제안 방법

• 모델, 데이터셋, 작업 간의 상호작용을 표준화하기 위해 통합 API를 갖춘 모듈러하고 확장 가능한 프레임워크를 설계합니다.
• 다양한 모델 아키텍처(에코더 전용, 디코더 전용, 에코더-디코더 유형 포함)를 지원하는 코드 데이터 전용 기초 모듈을 구현합니다.
• 다양한 프로그래밍 언어를 위한 tree-sitter 기반 AST 파서를 통합하여 구문적 인식이 가능한 코드 처리 및 기능 추출을 가능하게 합니다.
• 하나의 모델 훈련 및 평가를 위한 메서드 이름, 식별자, 변수 이름, 주석 등의 코드 속성 추출을 위한 유틸리티 함수를 제공합니다.
• 사전 훈련된 모델과 미세조정된 모델 모두에 표준화된 인터페이스를 제공하여 효율적인 모델 배포 및 훈련 파이프라인을 지원합니다.
• HumanEval 및 APPS와 같은 인기 벤치마크를 통합하여 다양한 코드 LLM 및 설정 간 일관된 평가를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 다양한 모델과 작업 간 코드 LLM 개발 및 배포의 복잡성과 반복 작업을 어떻게 줄일 수 있나요?
• RQ2 표준화된 인터페이스는 코드 지능 연구 분야에서 상호 운용성과 재현 가능성 향상에 어느 정도 기여할 수 있나요?
• RQ3 언어별 파서와 코드 속성 추출기의 역할은 코드 LLM 훈련 및 추론의 품질과 효율성을 향상시키는 데 어떤 기여를 하나요?
• RQ4 CodeTF의 모듈러 설계는 새로운 모델, 데이터셋, 프로그래밍 언어의 통합을 어떻게 촉진합니까?
• RQ5 코드 LLM을 배포할 때 발생할 수 있는 편향 및 책임 있는 사용과 관련된 주요 과제는 무엇이며, CodeTF와 같은 라이브러리는 이를 어떻게 완화할 수 있나요?

주요 결과

• CodeTF는 다양한 모델 아키텍처와 코드 작업을 지원하는 일관되고 모듈러한 인터페이스를 통해 코드 LLM의 빠른 개발 및 배포를 가능하게 합니다.
• AST 파서와 코드 속성 추출기의 통합으로 인해 코드 전용 작업의 데이터 전처리 품질이 크게 향상됩니다.
• 사전 훈련된 모델과 벤치마크에 대한 표준화된 접근 방식을 통해 최신 기술 수준의 결과를 재현하는 데 소요되는 시간과 노력이 감소합니다.
• CodeTF는 에코더 전용, 디코더 전용, 에코더-디코더 아키텍처를 모두 지원하는 다양한 모델(예: CodeBERT, CodeT5, CodeGen, StarCoder)을 지원합니다.
• 최소한의 설정으로 커스터마이징된 모델의 미세조정 및 배포를 간편하게 지원하여 연구자 및 실무자 모두의 사용성을 향상시킵니다.
• 라이브러리가 언어, 응용 프로그램, 라이브러리, 버전, 스타일, 솔루션 편향 등의 잠재적 편향을 부각시키며 윤리적인 배포 관행을 장려함으로써 책임 있는 AI 사용을 촉진합니다.