[論文レビュー] Execution-based Evaluation for Data Science Code Generation Models

Junjie Huang, Chenglong Wang+7 more|arXiv (Cornell University)|Nov 17, 2022

Software Engineering Research被引用数 4

ひとこと要約

本稿では、Jupyter Notebook から抽出した 534 問のデータサイエンス問題を用いた実行ベース評価に適した新しい評価データセット ExeDS を紹介する。実行正しさを評価する指標が、表面的形態スコア（例：BLEU、CodeBLEU）が高水準であるモデルが実行正しさに失敗することを示し、データサイエンスタスクにおける機能的コード品質の評価には実行ベースの指標がより信頼性が高いことを証明する。

ABSTRACT

Code generation models can benefit data scientists' productivity by automatically generating code from context and text descriptions. An important measure of the modeling progress is whether a model can generate code that can correctly execute to solve the task. However, due to the lack of an evaluation dataset that directly supports execution-based model evaluation, existing work relies on code surface form similarity metrics (e.g., BLEU, CodeBLEU) for model selection, which can be inaccurate. To remedy this, we introduce ExeDS, an evaluation dataset for execution evaluation for data science code generation tasks. ExeDS contains a set of 534 problems from Jupyter Notebooks, each consisting of code context, task description, reference program, and the desired execution output. With ExeDS, we evaluate the execution performance of five state-of-the-art code generation models that have achieved high surface-form evaluation scores. Our experiments show that models with high surface-form scores do not necessarily perform well on execution metrics, and execution-based metrics can better capture model code generation errors. Source code and data can be found at https://github.com/Jun-jie-Huang/ExeDS

研究の動機と目的

• データサイエンスコード生成モデルに対する実行ベース評価の不足に取り組む。
• BLEU や CodeBLEU などの表面的形態指標が機能的正しさを捉えていないことの欠陥を特定する。
• コードの文脈、自然言語の説明、基準コード、期待される出力が含まれる、高品質で実行可能なベンチマークデータセット（ExeDS）を提供する。
• 実行ベース指標を用いて最先端のコード生成モデルを評価し、表面的形態スコアと機能的性能の乖離を明らかにする。
• 実行ベース評価が表面的形態指標が見逃す誤りを検出できることを示し、今後のモデル開発の指針とする。

提案手法

• GitHub リポジトリからデータ依存関係をクロールし、再構築することで、Jupyter Notebook セルの入力データを回復した。
• 実行時エラーを含むノートブックを除外し、十分な文脈と人間がアノテートした自然言語の説明を備えた 534 問の高品質な問題をキュレートした。
• 各問題について、基準コードと実行結果（データフレームやプロットなどの複雑な構造を含む）を収集した。
• 5 つの最先端のコード生成モデルを ExeDS に対して実行ベース指標で評価し、表面的形態指標と比較した。
• 実行失敗の定性的な誤り分析を実施し、例外タイプ（例：未定義変数、API の誤用）と出力エラー（例：誤った出力、欠落、過剰出力）ごとに分類した。
• ケーススタディを用いて、高スコアの BLEU と実行が誤りである状況が共存しうることを示し、表面的形態指標の不十分性を証明した。

実験結果

リサーチクエスチョン

• RQ1 BLEU や CodeBLEU などの高表面的形態スコアは、データサイエンスコード生成における実行正しさとどの程度相関するか？
• RQ2 最先端のコード生成モデルは ExeDS ベンチマークを用いた実行ベース評価でどの程度の性能を示すか？
• RQ3 表面的形態指標を通過するが実行に失敗する生成コードで最も一般的な誤りタイプは何か？
• RQ4 実行ベース評価は表面的形態指標が見逃す機能的誤りを検出できるか？
• RQ5 未定義変数やスキーマ誤用などの異なる誤りカテゴリは、データサイエンスコード生成におけるモデルの信頼性にどのように影響するか？

主な発見

• BLEU や CodeBLEU スコアが高いモデルでも、実行正しくないコードを生成する。例えば、Codex は低 BLEU スコアを示したが、実行正答率は高かった。
• 実行失敗の 45% が未定義変数の使用に起因し、モデルのデータフロー理解が不十分であることが示された。
• 16% の誤りは API の誤用に起因し、たいていが誤ったメソッド呼び出しやインポートの欠落によるもので、API 理解の難しさを浮き彫りにした。
• 22% の失敗は、データフレームのカラム名や構造を誤って解釈することによる、誤ったデータスキーマの取り扱いに起因した。
• 誤りの 8% のみが構文エラーに起因しており、モデルは構文的に正しいコードを生成するが、機能的には失敗することがわかった。
• 生成出力の 24% が過剰であり、部分的に正しいコードであっても、モデルが必要な出力よりも多く出力することが多いことが示された。