[论文解读] CodeTF: One-stop Transformer Library for State-of-the-art Code LLMs

Nghi D. Q. Bui, H Le+4 more|arXiv (Cornell University)|May 31, 2023

Software Engineering Research被引用 6

一句话总结

CodeTF 是一个开源的、模块化的 Transformer 库，旨在简化最先进代码大语言模型（Code LLM）的开发、训练和部署。它提供统一接口以访问预训练模型、数据集以及特定于代码的预处理工具——包括抽象语法树（AST）解析器和属性提取器——从而实现跨多种编程语言和任务的高效微调与推理服务。

ABSTRACT

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.

研究动机与目标

• 通过统一模型、数据集和任务之间不一致的接口，解决代码 LLM 开发领域的碎片化问题。
• 通过提供一个模块化、可扩展的框架，降低开发者和研究人员在代码智能任务中的入门门槛。
• 通过提供标准化、可重用的组件（用于训练、推理和数据处理），实现 Code LLM 的快速原型设计与部署。
• 通过集成针对特定编程语言的解析器和特征提取工具，支持广泛的编程语言和代码任务。
• 通过为现成模型和自定义模型、基准测试提供一致的接口，促进可复现性和可扩展性。

提出的方法

• 设计一个模块化、可扩展的框架，并通过统一的 API 标准化模型、数据集和任务之间的交互。
• 实现一个面向代码数据的基础模块，支持包括仅编码器、仅解码器和编码器-解码器在内的多种模型架构。
• 集成基于 tree-sitter 的 AST 解析器，支持多种编程语言，以实现语法感知的代码处理和特征提取。
• 提供实用函数，用于提取代码属性（如方法名、标识符、变量名和注释），以支持下游模型的训练与评估。
• 通过为预训练模型和微调模型提供标准化接口，支持高效的模型推理与训练流水线。
• 集成 HumanEval 和 APPS 等流行基准测试，以实现不同代码 LLM 及配置下的统一评估。

实验结果

研究问题

• RQ1 统一框架在多模型和多任务场景下，如何降低代码 LLM 开发与部署的复杂性与重复性？
• RQ2 标准化接口在代码智能研究中，能在多大程度上提升互操作性与可复现性？
• RQ3 特定于编程语言的解析器和代码属性提取器在提升代码 LLM 训练与推理的质量和效率方面发挥什么作用？
• RQ4 CodeTF 的模块化设计如何促进新模型、新数据集和新编程语言的集成？
• RQ5 在部署代码 LLM 时，潜在的偏见和负责任使用方面面临哪些关键挑战？CodeTF 如何帮助缓解这些问题？

主要发现

• CodeTF 通过一致且模块化的接口，显著加速了 Code LLM 的开发与部署，支持多种模型架构和代码任务。
• 该库集成的 AST 解析器和代码属性提取器，显著提升了代码特定任务的数据预处理质量。
• 通过标准化访问预训练模型和基准测试，CodeTF 显著减少了复现最先进结果所需的时间与精力。
• 该框架支持多种模型，包括 CodeBERT、CodeT5、CodeGen 和 StarCoder，覆盖仅编码器、仅解码器和编码器-解码器架构。
• CodeTF 通过极简的配置即可实现自定义模型的微调与推理服务，显著提升了研究人员和实践者的易用性。
• 该库通过识别潜在偏见（如语言、应用、库、版本、风格和解决方案偏见）并倡导伦理部署实践，促进了负责任的 AI 使用。