[論文レビュー] CodeTF: One-stop Transformer Library for State-of-the-art Code LLMs

Nghi D. Q. Bui, H Le+4 more|arXiv (Cornell University)|May 31, 2023

Software Engineering Research被引用数 6

ひとこと要約

CodeTF は、最先端のコード大規模言語モデル（Code LLM）の開発・学習・デプロイを簡素化することを目的としたオープンソースでモジュラーなトランスフォーマーライブラリです。事前学習済みモデル、データセット、およびコード固有の前処理ツール（ASTパーサーや属性抽出ツールを含む）への統合インターフェースを提供し、複数のプログラミング言語やタスクにおいて、効率的なファインチューニングとサービングを可能にします。

ABSTRACT

Code intelligence plays a key role in transforming modern software engineering. Recently, deep learning-based models, especially Transformer-based large language models (LLMs), have demonstrated remarkable potential in tackling these tasks by leveraging massive open-source code data and programming language features. However, the development and deployment of such models often require expertise in both machine learning and software engineering, creating a barrier for the model adoption. In this paper, we present CodeTF, an open-source Transformer-based library for state-of-the-art Code LLMs and code intelligence. Following the principles of modular design and extensible framework, we design CodeTF with a unified interface to enable rapid access and development across different types of models, datasets and tasks. Our library supports a collection of pretrained Code LLM models and popular code benchmarks, including a standardized interface to train and serve code LLMs efficiently, and data features such as language-specific parsers and utility functions for extracting code attributes. In this paper, we describe the design principles, the architecture, key modules and components, and compare with other related library tools. Finally, we hope CodeTF is able to bridge the gap between machine learning/generative AI and software engineering, providing a comprehensive open-source solution for developers, researchers, and practitioners.

研究の動機と目的

• モデル、データセット、タスクの間で一貫性のないインターフェースが存在するコード LLM 開発の分断された状況に対処し、統一すること。
• コードインテリジェンスタスクのためのモジュラーかつ拡張可能なフレームワークを提供することで、開発者や研究者の参入障壁を低減すること。
• トレーニング、推論、データ処理のための標準化され、再利用可能なコンポONENTを提供することで、Code LLM の迅速なプロトタイピングとデプロイを可能にすること。
• 言語固有のパーサーや特徴抽出ユーティリティを統合することで、幅広いプログラミング言語とコードタスクをサポートすること。
• オフザシェルとカスタムモデル・ベンチマークの両方に対して一貫したインターフェースを提供することで、再現可能性と拡張性を促進すること。

提案手法

• モデル、データセット、タスク間での相互作用を標準化するため、統一された API を備えたモジュラーで拡張可能なフレームワークを設計すること。
• エンコーダーのみ、デコーダーのみ、エンコーダー・デコーダー型のさまざまなモデルアーキテクチャをサポートする、コードデータに特化した基盤モジュールを実装すること。
• 複数のプログラミング言語のための tree-sitter ベースの AST パーサーを統合し、構文に配慮したコード処理と特徴抽出を可能にすること。
• メソッド名、識別子、変数名、コメントなどのコード属性を抽出するユーティリティ関数を提供し、下流のモデル学習と評価を支援すること。
• 事前学習済みモデルおよびファインチューニング済みモデルの両方のための標準化されたインターフェースを備え、効率的なモデルサービングとトレーニングパイプラインを実現すること。
• HumanEval や APPS といった人気ベンチマークを統合し、さまざまなコード LLM と構成における一貫した評価を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 統一されたフレームワークは、多様なモデルやタスクにおいて、コード LLM の開発とデプロイの複雑さと繰り返し作業をどの程度軽減できるか？
• RQ2 標準化されたインターフェースは、コードインテリジェンス研究における相互運用性と再現可能性をどの程度向上できるか？
• RQ3 言語固有のパーサーやコード属性抽出ツールは、コード LLM の学習と推論の品質と効率を向上させるために果たす役割は何か？
• RQ4 CodeTF のモジュラー設計は、新しいモデル、データセット、プログラミング言語の統合をどの程度容易にするか？
• RQ5 コード LLM をデプロイする際のバイアスと責任ある使用に関する主な課題は何か。また、CodeTF はそれらをどのように軽減できるか？

主な発見

• CodeTF は、多様なモデルアーキテクチャとコードタスクをサポートする一貫性がありモジュラーなインターフェースを備えることで、Code LLM の迅速な開発とデプロイを可能にしている。
• AST パーサーとコード属性抽出ツールの統合により、コード固有のタスクにおけるデータ前処理の質が著しく向上している。
• 事前学習済みモデルとベンチマークへの標準化されたアクセスを提供することで、最先端の結果を再現するための時間と労力が削減されている。
• フレームワークは、CodeBERT や CodeT5、CodeGen、StarCoder といったモデルを、エンコーダーのみ、デコーダーのみ、エンコーダー・デコーダー型のアーキテクチャすべてに対応してサポートしている。
• 最小限の設定でカスタムモデルのファインチューニングとサービングを可能にし、研究者および実務家にとっての使いやすさが向上している。
• ライブラリは、言語、アプリケーション、ライブラリ、バージョン、スタイル、解決策のバイアスといった潜在的なバイアスを浮き彫りにすることで、責任ある AI の使用を促進しており、倫理的なデプロイ実践を奨励している。