[논문 리뷰] Evaluating the Decency and Consistency of Data Validation Tests Generated by LLMs

Rohan Alexander, Lindsay Katz외 3명|arXiv (Cornell University)|2023. 10. 02.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 연구는 다양한 프롬프트, 역할, few-shot 학습, 온도 설정을 사용하여 GPT-3.5와 GPT-4가 생성한 데이터 검증 테스트의 품질을 평가한다. 연구 결과, few-shot 프롬프팅이 테스트의 타당성과 일관성에 크게 기여하며, GPT-4와 GPT-3.5가 유사한 성능을 보여, 대규모 언어 모델(LM)이 데이터 과학 워크플로우에서 초기 데이터 검증 세트를 구성하는 데 효과적으로 활용될 수 있음을 시사한다.

ABSTRACT

We investigated whether large language models (LLMs) can develop data validation tests. We considered 96 conditions each for both GPT-3.5 and GPT-4, examining different prompt scenarios, learning modes, temperature settings, and roles. The prompt scenarios were: 1) Asking for expectations, 2) Asking for expectations with a given context, 3) Asking for expectations after requesting a data simulation, and 4) Asking for expectations with a provided data sample. The learning modes were: 1) zero-shot, 2) one-shot, and 3) few-shot learning. We also tested four temperature settings: 0, 0.4, 0.6, and 1. And the two distinct roles were: 1) helpful assistant, 2) expert data scientist. To gauge consistency, every setup was tested five times. The LLM-generated responses were benchmarked against a gold standard data validation suite, created by an experienced data scientist knowledgeable about the data in question. We find there are considerable returns to the use of few-shot learning, and that the more explicit the data setting can be the better, to a point. The best LLM configurations complement, rather than substitute, the gold standard results. This study underscores the value LLMs can bring to the data cleaning and preparation stages of the data science workflow, but highlights that they need considerable evaluation by experienced analysts.

연구 동기 및 목표

• 대규모 언어 모델(LM)을 활용해 실제 데이터 과학 워크플로우에 적합한 데이터셋 검증 테스트를 생성하는 것이 가능한지 평가하는 것.
• 프롬프트 설계, 학습 방식, 온도 설정, 역할 정의가 LLM이 생성한 검증 테스트의 품질에 미치는 영향을 조사하는 것.
• 전문 데이터 과학자가 수작업으로 구성한 황금 표준 테스트 세트와의 비교를 통해 LLM 출력을 기준으로 삼는 것.
• LLM이 초기 데이터 검증 파이프라인을 구축하는 데 필요한 시간과 노력을 줄일 수 있는지 탐색하는 것.
• 다양한 실험 설정에서 LLM이 생성한 테스트의 일관성과 타당성 평가

제안 방법

• GPT-3.5와 GPT-4 각각에 대해 96회의 실험을 수행하였으며, 프롬프트 시나리오, 학습 방식(제로샷, 원샷, 피샷), 온도 설정(0, 0.4, 0.6, 1), 역할(유용한 어시스턴트, 전문 데이터 과학자)을 다양하게 조작함.
• 인간 평가자가 각 LLM 응답을 타당성(1–5점)과 일관성(1–5점) 기준으로 평가하였으며, 각 설정에 대해 5회 반복하여 안정성 평가를 수행함.
• 경험 많은 데이터 과학자가 수작업으로 구성한 황금 표준 검증 테스트 세트와 LLM이 생성한 테스트를 비교 분석함.
• rstanarm를 사용한 순서형 회귀 모델을 적용하여 프롬프트 설계 및 설정이 타당성 및 일관성 점수에 미치는 영향을 분석함.
• 테스트 생성에 Great Expectations 프레임워크를 활용하여 일반적인 데이터 검증 파이프라인과의 호환성을 확보함.
• 다양한 프롬프트 변형(예: 맥락 기술, 데이터 샘플 포함 등)을 수집하고 분석하여 출력 품질에 미치는 영향 평가

(a) Decency

실험 결과

연구 질문

• RQ1 예를 들어, 기대치를 요청하거나 맥락을 제공하거나 데이터 샘플을 포함하는 등의 다양한 프롬프트 시나리오가 LLM이 생성한 검증 테스트의 타당성과 일관성에 어떤 영향을 미치는가?
• RQ2 제로샷 또는 원샷 설정 대비 피샷 학습이 LLM이 생성한 데이터 검증 테스트의 품질을 얼마나 향상시키는가?
• RQ3 온도 설정이 LLM이 생성한 테스트 출력의 일관성에 미치는 영향은 어떠하며, 타당성에 영향을 미치는가?
• RQ4 LLM에 할당된 역할(예: '유용한 어시스턴트' 대비 '전문 데이터 과학자')이 생성된 테스트의 품질에 유의미한 영향을 미치는가?
• RQ5 동일한 실험 조건에서 GPT-3.5와 GPT-4는 높은 품질의 일관성 있고 타당한 데이터 검증 테스트를 얼마나 잘 생성하는가?

주요 결과

• 피샷 학습은 제로샷 또는 원샷 설정 대비 LLM이 생성한 데이터 검증 테스트의 타당성과 일관성을 크게 향상시킴.
• 기대되는 데이터셋 구조에 대한 상세한 기술이 샘플 데이터 인스턴스를 포함하는 것보다 테스트 품질을 더 높게 만듦.
• 온도 설정은 일관성과 강하게 연관되어 있으나 타당성에는 영향을 주지 않으며, 낮은 온도(예: 0) 설정이 더 안정적인 출력을 유도함.
• GPT-4와 GPT-3.5는 높은 품질의 검증 테스트를 생성하는 데 있어 유사한 성능을 보이며, 총합 타당성 또는 일관성 점수에 유의미한 차이 없음.
• 가장 우수한 성능을 보인 LLM 설정은 황금 표준 테스트를 대체하기보다는 보완함을 보여, 초도 테스트 세트 생성에 유용한 역할을 함.
• 이 연구는 LLM이 초기 데이터 검증 규칙 자동화에 효과적으로 기여할 수 있음을 입증하며, 데이터 준비 파이프라인에서 수동 작업을 줄이는 데 기여함.

(b) Consistency