[논문 리뷰] Is GPT-4 a Good Data Analyst?

Liying Cheng, Xingxuan Li외 1명|arXiv (Cornell University)|2023. 05. 24.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 GPT-4가 실제 데이터 분석 작업(데이터베이스 쿼리, 데이터 시각화, 통찰력 도출 포함)에서 종합적인 성능을 보이며 전문적인 데이터 분석가로 기능할 수 있는지 조사한다. 자체 개발한 프레임워크와 인간 평가를 통해 GPT-4는 고급 수준의 인간 데이터 분석가와 유사한 성능을 보이며, 초보자 및 인턴 수준의 분석가를 능가하지만, 완전한 대체를 고려하기 전에 환상과 가정의 엄밀함 문제는 여전히 우려된다.

ABSTRACT

As large language models (LLMs) have demonstrated their powerful capabilities in plenty of domains and tasks, including context understanding, code generation, language generation, data storytelling, etc., many data analysts may raise concerns if their jobs will be replaced by artificial intelligence (AI). This controversial topic has drawn great attention in public. However, we are still at a stage of divergent opinions without any definitive conclusion. Motivated by this, we raise the research question of "is GPT-4 a good data analyst?" in this work and aim to answer it by conducting head-to-head comparative studies. In detail, we regard GPT-4 as a data analyst to perform end-to-end data analysis with databases from a wide range of domains. We propose a framework to tackle the problems by carefully designing the prompts for GPT-4 to conduct experiments. We also design several task-specific evaluation metrics to systematically compare the performance between several professional human data analysts and GPT-4. Experimental results show that GPT-4 can achieve comparable performance to humans. We also provide in-depth discussions about our results to shed light on further studies before reaching the conclusion that GPT-4 can replace data analysts.

연구 동기 및 목표

• GPT-4가 실제 엔드 투 엔드 데이터 분석 작업에서 능력 있는 데이터 분석가로 기능할 수 있는지 조사하기.
• GPT-4의 성능를 경험 수준이 다른 인간 데이터 분석가(초보자, 인턴, 고급)와 비교하기 위해 작업별 지표를 사용하기.
• GPT-4가 데이터 추출, 시각화, 분석 통찰력 도출을 체계적이고 자동화된 파이프라인으로 수행할 수 있도록 프레임워크를 설계하고 검증하기.
• 비용, 시간, 신뢰성 측면에서 인간 노동과 비교하여 GPT-4가 데이터 분석가로서 실용적으로 가능한지 평가하기.
• 환상과 가정 검증의 과도한 확신과 같은 제한 사항을 특정하고, 향후 연구를 이끌어내어 인간 분석가 대체 가능성에 대해 결론을 내리기 이전에 개선이 필요함을 밝히기.

제안 방법

• GPT-4가 엔드 투 엔드 데이터 분석을 수행할 수 있도록 도와주는 자체 개발 프레임워크를 제안한다: 입력은 비즈니스 질문과 데이터베이스 스키마이며, Google을 통한 외부 지식 검색이 가능하다.
• 시스템은 GPT-4에게 관련 테이블을 식별하고, SQL 쿼리를 생성하고, 데이터를 추출하고, 시각화(예: 차트)를 생성하며, 분석 통찰을 제공하도록 프롬프트한다.
• 평가에는 자동 지표(예: 데이터 정확도 및 시각화 품질)와 전문 데이터 분석가가 통찰의 관련성과 깊이를 평가하는 인간 평가가 포함된다.
• NvBench 데이터셋의 수정된 버전을 사용하여, LLM 기반 데이터 분석을 위한 벤치마크를 구축하기 위해 데이터 분석 작업을 추가한다.
• 도메인 특화 배경 지식이 필요한 질문을 위해, 맥락 인식 능력을 향상시키기 위해 온라인 정보 검색 기능을 통합한 선택적 모듈이 존재한다.
• 정량적 및 정성적 지표를 사용하여 GPT-4, 초보자, 인턴, 고급 인간 데이터 분석가 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 GPT-4는 실제 데이터베이스에서 데이터 추출, 시각화, 통찰력 도출을 포함한 엔드 투 엔드 데이터 분석 작업을 수행할 수 있으며, 인간 분석가와 유사한 성능을 보일 수 있는가?
• RQ2 GPT-4의 성능는 정확도, 통찰력 품질, 완전성 측면에서 경험 수준이 다른 데이터 분석가(초보자, 인턴, 고급)와 비교해 어떻게 다른가?
• RQ3 외부 지식 검색은 GPT-4가 맥락적으로 정확하고 통찰력 있는 분석을 수행할 능력을 어느 정도 향상시키는가?
• RQ4 GPT-4의 데이터 분석에서 환상과 가정 검증의 부족으로 인해 인간 분석가를 완전히 대체하는 데 장애가 되는 주요 제한 사항은 무엇인가?
• RQ5 실제 상황에서 GPT-4의 비용 및 시간 효율성은 인간 데이터 분석가를 고용하는 것과 비교해 어떻게 다른가?

주요 결과

• GPT-4는 인간 평가자들의 평가 기준으로 봤을 때, 인턴 및 초보자 수준의 인간 데이터 분석가보다 작업 성과와 통찰력 품질에서 뛰어난 성능을 보였다.
• 일반적이고 실용적인 데이터 분석 질문에서는 GPT-4가 고급 인간 분석가와 유사한 성능을 보였으며, 특히 통찰력 구성과 데이터 해석 측면에서 뛰어났다.
• GPT-4는 인간 분석가 대비 뚜렷한 비용 및 시간적 이점이 있었으며, 엔드 투 엔드 작업을 더 빠르게 수행하고 더 낮은 비용으로 수행할 수 있었다.
• 강력한 성능에도 불구하고 GPT-4는 잘못된 데이터 해석이나 허구의 통찰을 포함한 환상 문제를 보이며, 이는 여전히 핵심적인 제한 요소로 남아 있다.
• GPT-4는 종종 충분한 검증 없이 근거 없는 가정을 하거나 추측적 진술을 제공하여, 완전한 구현 전에 더 나은 추론의 엄밀함이 필요함을 시사한다.
• 온라인 검색을 통한 외부 지식 통합은 일부 경우에서 GPT-4의 맥락 인식 능력과 분석 깊이를 향상시켰지만, 이 기능은 모든 작업에 대해 체계적으로 평가되지 않았다.