[論文レビュー] Evaluating the Decency and Consistency of Data Validation Tests Generated by LLMs

Rohan Alexander, Lindsay Katz+3 more|arXiv (Cornell University)|Oct 2, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

本研究では、GPT-3.5およびGPT-4が、さまざまなプロンプト、ロール、few-shot学習、温度設定を用いて生成するデータ検証テストの品質を評価している。few-shotプロンプティングがテストの適切さと一貫性を顕著に向上させることを発見した。GPT-4とGPT-3.5の性能は類似しており、大規模言語モデル（LLM）がデータサイエンスワークフローにおける初期データ検証スイートの作成を効果的に支援できることを示唆している。

ABSTRACT

We investigated whether large language models (LLMs) can develop data validation tests. We considered 96 conditions each for both GPT-3.5 and GPT-4, examining different prompt scenarios, learning modes, temperature settings, and roles. The prompt scenarios were: 1) Asking for expectations, 2) Asking for expectations with a given context, 3) Asking for expectations after requesting a data simulation, and 4) Asking for expectations with a provided data sample. The learning modes were: 1) zero-shot, 2) one-shot, and 3) few-shot learning. We also tested four temperature settings: 0, 0.4, 0.6, and 1. And the two distinct roles were: 1) helpful assistant, 2) expert data scientist. To gauge consistency, every setup was tested five times. The LLM-generated responses were benchmarked against a gold standard data validation suite, created by an experienced data scientist knowledgeable about the data in question. We find there are considerable returns to the use of few-shot learning, and that the more explicit the data setting can be the better, to a point. The best LLM configurations complement, rather than substitute, the gold standard results. This study underscores the value LLMs can bring to the data cleaning and preparation stages of the data science workflow, but highlights that they need considerable evaluation by experienced analysts.

研究の動機と目的

• 大規模言語モデル（LLM）を用いて、現実のデータサイエンスワークフロー向けにデータセット検証テストを生成する可能性を評価すること。
• プロンプト設計、学習モード、温度設定、ロール定義が、LLMが生成する検証テストの品質に与える影響を調査すること。
• 熟練したデータサイエンティストが手作業で構築したゴールドスタンダードのテストスイートと比較して、LLMの出力をベンチマークすること。
• LLMが、初期データ検証パイプラインを構築するための時間と労力を削減できるかどうかを検討すること。
• 複数の実験的設定において、LLMが生成するテストの一貫性と適切さを評価すること。

提案手法

• GPT-3.5およびGPT-4の各LLMについて96回の実験を実施。プロンプトのシナリオ、学習モード（ゼロショット、ワンショット、few-shot）、温度設定（0、0.4、0.6、1）、ロール（役立つアシスタント、専門的データサイエンティスト）を変化させた。
• 人間のコーダーが、各LLMの出力を適切さ（1〜5）および一貫性（1〜5）の観点から評価。各設定に対して5回の繰り返しを実施し、安定性を評価。
• 熟練したデータサイエンティストが手作業で構築したゴールドスタンダードの検証テストスイートと、LLMが生成したテストを比較分析。
• rstanarmを用いた順序ロジスティック回帰モデルを適用し、プロンプト設計および設定が適切さと一貫性スコアに与える影響を分析。
• テスト生成に「Great Expectations」フレームワークを採用。一般的なデータ検証パイプラインと互換性を確保。
• 文脈の説明やデータサンプルを含む多様なプロンプトバリエーションを収集・分析し、それらが出力品質に与える影響を評価。

(a) Decency

実験結果

リサーチクエスチョン

• RQ1 例えば、期待されるデータセット構造の要請を求める、文脈の説明、またはデータサンプルの提示といった、異なるプロンプトシナリオが、LLMが生成する検証テストの適切さと一貫性にどのように影響するか？
• RQ2 ゼロショットやワンショット設定と比較して、few-shot学習が、LLMが生成するデータ検証テストの品質をどの程度向上させるか？
• RQ3 温度設定は、LLMが生成するテスト出力の一貫性にどのように影響するか。また、適切さに影響を与えるか？
• RQ4 LLMに割り当てられたロール（例：「役立つアシスタント」対「専門的データサイエンティスト」）が、生成されるテストの品質に顕著な影響を与えるか？
• RQ5 同一の実験条件下で、GPT-3.5とGPT-4は、高品質で一貫性があり、適切なデータ検証テストをどの程度生成できるか、どのように比較されるか？

主な発見

• few-shot学習は、ゼロショットやワンショット設定と比較して、LLMが生成するデータ検証テストの適切さと一貫性を顕著に向上させる。
• 期待されるデータセット構造の詳細な記述を提供することで、データサンプルの提示よりもテスト品質が向上する。
• 温度設定は一貫性に強く関連しているが、適切さには関連しない。低い温度（例：0）では出力がより安定する。
• GPT-4とGPT-3.5は、総合的な適切さや一貫性スコアに顕著な差がなく、同等の性能を示す。
• 最も優れた性能を示すLLMの設定は、ゴールドスタンダードを補完するものであり、代替するものではない。初期テストスイート作成における価値ある役割を果たす。
• 本研究は、LLMが初期データ検証ルールの自動生成を効果的に支援できることを示しており、データ準備パイプラインにおける人的作業の削減に寄与する。

(b) Consistency