[論文レビュー] TACO: Topics in Algorithmic COde generation dataset

Rongni Li, Jie Fu+7 more|arXiv (Cornell University)|Dec 22, 2023

Software Engineering Research被引用数 4

ひとこと要約

TACOは、26,443のプログラミング問題を含み、アルゴリズム、スキル、難易度レベルの細分化されたアノテーションを備えた大規模でオープンソースのコード生成データセットであり、複雑でコンテストレベルの課題におけるコード生成モデルの改善とベンチマーク化を目的としています。特に、ソートや動的計画法などの特定のアルゴリズム的トピックに特化した微調整により、モデルの性能向上が顕著に見られます。

ABSTRACT

We introduce TACO, an open-source, large-scale code generation dataset, with a focus on the optics of algorithms, designed to provide a more challenging training dataset and evaluation benchmark in the field of code generation models. TACO includes competition-level programming questions that are more challenging, to enhance or evaluate problem understanding and reasoning abilities in real-world programming scenarios. There are 25433 and 1000 coding problems in training and test set, as well as up to 1.55 million diverse solution answers. Moreover, each TACO problem includes several fine-grained labels such as task topics, algorithms, programming skills, and difficulty levels, providing a more precise reference for the training and evaluation of code generation models. The dataset and evaluation scripts are available on Hugging Face Hub (https://huggingface.co/datasets/BAAI/TACO) and Github (https://github.com/FlagOpen/TACO).

研究の動機と目的

• 既存のコード生成ベンチマークの限界、すなわち難易度が低すぎる、テストセットの品質が不十分、細分化されたアノテーションが欠如していることに対処すること。
• 特に現実世界のプログラミング推論や問題解決を想定した、より困難で高品質な評価ベンチマークを提供すること。
• 詳細なアノテーションを活用して特定のアルゴリズム的トピックに特化した微調整を可能にすることで、モデルのパフォーマンスを向上させること。
• 構造化されたアルゴリズム的メタデータを通じて、コード理解、教育、アルゴリズム推薦、LLMの強化など、多様な応用を支援すること。

提案手法

• 公開データセットおよびオープンソースリポジトリから26,443のプログラミング問題を収集し、よりクリーンな構文を得るためPython 3の解答に焦点を当てた。
• 生のタグを36の主要なアルゴリズム的トピック（例：動的計画法、ソート）に体系的に分類し、プログラミングスキルのアノテーションを追加した。
• 各問題に対して、アルゴリズム的トピック、プログラミングスキル、難易度レベル、時間計算量の複数のラベルを付与した。
• 25,433問のトレーニングセットと1,000問のテストセットを構築し、最大155万件の多様な解答を含んだ。
• 評価スクリプトを提供し、Hugging Face HubおよびGitHubにデータセットをホスティングして、オープンアクセスと再現可能性を確保した。
• 特定のトピックに特化したサブセットを用いた微調整を可能にし、特定のアルゴリズム的課題におけるパフォーマンス向上を実現した。

実験結果

リサーチクエスチョン

• RQ1 大規模で細分化されたコード生成データセットは、複雑で現実世界のプログラミングタスクにおけるモデルパフォーマンスを向上させ得るか？
• RQ2 TACOのトピック特化サブセットで微調整した場合、全データセットでの微調整と比較してコード生成パフォーマンスにどのような影響を与えるか？
• RQ3 細分化されたアノテーション（例：アルゴリズムタイプ、スキル、難易度）は、モデルの推論力とコード品質をどの程度向上させるか？
• RQ4 TACOは、HumanEval や MBPP といった標準ベンチマークを超えて、コード生成モデルの評価に信頼できるベンチマークとして機能できるか？
• RQ5 TACOは、アルゴリズム推薦やコード理解といった後続の応用分野において、どの程度効果的か？

主な発見

• GPT-4はLeetcode（ハード）タスクでpass@1スコア7％を達成した。これは、現在のベンチマークの限界を示しており、TACOのようなより困難な評価セットの必要性を浮き彫りにしている。
• TACOのトレーニングセットを用いてStarCoder-1Bのようなモデルを特定のアルゴリズム的スキル（例：データ構造、貪欲法、ソート）に特化して微調整したところ、全データセットでの微調整に比べて明確なパフォーマンス向上が得られた。
• TACOデータセットの細分化されたラベル（アルゴリズム的トピック、スキル、難易度など）により、より正確なモデルトレーニングと評価が可能になり、パフォーマンス評価における曖昧性が低減された。
• データセットの豊富なアノテーションスキーマは、自動コードドキュメンテーション、アルゴリズム推薦、教育ツールの開発など、高度な応用を支援する。
• TACOは、アルゴリズムの多様性と複雑さをより的確に捉えており、モデルの能力をより現実的に評価できる。
• APPS や CodeContest に比べ、TACOはテストケースカバレッジにおける誤検出（誤った正解）のリスクを低減している。これは、厳密な収集と手作業による検証により実現された。