[論文レビュー] Training and Evaluating a Jupyter Notebook Data Science Assistant

Shubham Chandel, Colin B. Clement+2 more|arXiv (Cornell University)|Jan 30, 2022

Software Engineering Research被引用数 20

ひとこと要約

本論文は公開された Jupyter ノートブック上で JuPyT5 を訓練し、実行可能なデータサイエンス問題ベンチマーク DSP を導入します。これにより JuPyT5 が DSP タスクを最大で 77.5% 解決し、100 回の試行で評価するほか、訓練戦略、データ構成、HumanEval/MBPP への評価を分析します。

ABSTRACT

We study the feasibility of a Data Science assistant powered by a sequence-to-sequence transformer by training a new model JuPyT5 on all publicly available Jupyter Notebook GitHub repositories and developing a new metric: Data Science Problems (DSP). DSP is a collection of 1119 problems curated from 306 pedagogical notebooks with 92 dataset dependencies, natural language and Markdown problem descriptions, and assert-based unit tests. These notebooks were designed to test university students' mastery of various Python implementations of Math and Data Science, and we now leverage them to study the ability of JuPyT5 to understand and pass the tests. We analyze the content of DSP, validate its quality, and we find that given 100 sampling attempts JuPyT5 is able to solve 77.5\% of the DSP problems. We further present various ablation and statistical analyses and compare DSP to other recent natural language to code benchmarks.

研究の動機と目的

• タスクに基づく問題で評価される教育的でデータサイエンス志向のコード生成アシスタントの必要性を動機づける。
• ノートブックベースのデータサイエンス問題の大規模な実行可能ベンチマーク DSP を、単体テストとともに作成する。
• 多様なノートブックデータ上でセル補完事前学習 objective を用いて JuPyT5 を訓練する。
• 訓練データの構成とコンテキスト長が問題解決性能にどう影響するかを評価する。
• DSP の結果を既存のコード作成ベンチマーク（HumanEval/MBPP）と比較し、制約と展開上の考慮点を分析する。

提案手法

• JuPyT5 (350M パラメータ) を Jupyter ノートブックのセルから導出したセル補完目的で訓練する。
• Markdown とコード内容およびターゲットタイプを区別する制御トークンを使用する（例：<markdown>, <code>, <function>, <class>, <import>）。
• リテラテコードデータの影響を調べるため、Markdown に焦点を当てたサブセットと全データセットで事前学習を行う。
• DSP で評価するには、各ノートブック問題の解答セルを置換し単体テストを実行する。複数回の試行で pass@k を測定する。
• 標準ベンチマークを用いて DSP での JuPyT5 の性能を HumanEval および MBPP と比較する。
• アブレーションと訓練選択を分析する（コンテキストセル C=1 対 C=3、次のセル（評価セル）を含むセル補完）し、成功への寄与を特定する。

実験結果

リサーチクエスチョン

• RQ1 データサイエンス志向のトランスフォーマーは、Jupyter ノートブックに埋め込まれた実際の問題と単体テストを効果的に解決できるか？
• RQ2 セル補完の事前学習目的は、ベースラインのコンテクストモデリングと比較して DSP での問題解決能力を向上させるか？
• RQ3 データ構成（Markdown が豊富かどうか、全ノートブックか）と先読みテストの可視性が DSP の性能にどう影響するか？
• RQ4 DSP における JuPyT5 の性能は、HumanEval や MBPP のような既存のコードベンチマークとどのように関連するか？
• RQ5 教育機関やビジネス環境で DSP 風の評価を用いる場合に生じる展開上の留意点は何か？

主な発見

モデル	pass@1	pass@10	pass@50	pass@100
C=1 Baseline	6.5%	16.5%	22.7%	25.3%
C=1 MD Focused	7.1%	17.3%	26.2%	27.8%
C=1 Cell Infilling	22.3%	53.5%	65.0%	67.9%
C=3 Baseline	11.2%	25.6%	34.4%	37.9%
C=3 MD Focused	11.2%	28.4%	40.6%	43.9%
C=3 Cell Infilling	33.4%	63.5%	73.9%	77.5%

• JuPyT5 は 100 回のサンプリング試行で DSP 問題の 77.5% を解決した。
• 次の grading セルの可視性を伴うセル補完は大きな利得を生み、C=1 で 67.9%、C=3 で 77.5% の pass@100 を達成した。
• Markdown に焦点を当てたサブセットでの訓練は、全データ訓練に比べて控えめな利得を提供する。
• コンテキストウィンドウ（C=3 対 C=1）は k 全般で一貫した改善をもたらし、次のセル（テスト可視性）を含めると顕著な向上が得られる。
• JuPyT5 は MBPP でより大きな 68B パラメータモデルを上回り、Markdown への docstrings 適用時には HumanEval で Codex の性能に近づく；ただし Codex は一般に HumanEval でより強力であり、フォーマット感度とデータドメインの影響を浮き彫りにしている。