[논문 리뷰] Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows

Fangyu Lei, Jixuan Chen외 14명|arXiv (Cornell University)|2024. 11. 12.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

Spider 2.0은 산업 데이터베이스에서 유래한 632개의 복잡한 워크플로우를 포함하는 실세계 기업용 텍스트-SQL 벤치마크를 도입한다. 이는 평균 812개의 컬럼을 가진 거대한 스키마, 다양한 SQL 디어레이트, 다단계 데이터 엔지니어링 작업을 특징으로 한다. o1-preview와 같은 고급 LLMs를 사용해도 작업의 21.3%만 성공적으로 해결되었으며, 이는 실세계 기업 환경에서의 성능 격차가 심각하다는 것을 시사한다.

ABSTRACT

Real-world enterprise text-to-SQL workflows often involve complex cloud or local data across various database systems, multiple SQL queries in various dialects, and diverse operations from data transformation to analytics. We introduce Spider 2.0, an evaluation framework comprising 632 real-world text-to-SQL workflow problems derived from enterprise-level database use cases. The databases in Spider 2.0 are sourced from real data applications, often containing over 1,000 columns and stored in local or cloud database systems such as BigQuery and Snowflake. We show that solving problems in Spider 2.0 frequently requires understanding and searching through database metadata, dialect documentation, and even project-level codebases. This challenge calls for models to interact with complex SQL workflow environments, process extremely long contexts, perform intricate reasoning, and generate multiple SQL queries with diverse operations, often exceeding 100 lines, which goes far beyond traditional text-to-SQL challenges. Our evaluations indicate that based on o1-preview, our code agent framework successfully solves only 21.3% of the tasks, compared with 91.2% on Spider 1.0 and 73.0% on BIRD. Our results on Spider 2.0 show that while language models have demonstrated remarkable performance in code generation -- especially in prior text-to-SQL benchmarks -- they require significant improvement in order to achieve adequate performance for real-world enterprise usage. Progress on Spider 2.0 represents crucial steps towards developing intelligent, autonomous, code agents for real-world enterprise settings. Our code, baseline models, and data are available at https://spider2-sql.github.io

연구 동기 및 목표

• 벤치마크 성능과 실세계 기업용 텍스트-SQL 요구사항 사이의 격차를 해소한다.
• 대규모 데이터베이스, 다양한 디어레이트, 복잡한 추론을 포함한 산업 데이터 워크플로우를 반영하는 현실적인 평가 프레임워크를 구축한다.
• LLM이 메타데이터, 문서, 코드베이스를 탐색하고 다중 쿼리 워크플로우를 실행할 수 있는 능력을 평가한다.
• 스케일러블하고 프로덕션 수준의 벤치마크를 제공하여 기업 데이터 시스템을 위한 자율 코드 에이전트 개발을 이끌어낸다.

제안 방법

• 실제 기업 데이터베이스 스키마를 사용한 기업 애플리케이션(예: Salesforce, Google Analytics)으로부터 632개의 실세계 텍스트-SQL 작업을 수집한다.
• BigQuery, Snowflake, SQLite, DuckDB 등의 실제 시스템에서 데이터베이스를 확보하며, 평균 스키마 크기는 812개 컬럼이다.
• 문서, 튜토리얼, 오픈소스 프로젝트를 통해 다양한 SQL 디어레이트(예: Google, Snowflake SQL)를 통합한다.
• 데이터베이스 메타데이터, 프로젝트 코드베이스(예: dbt), 외부 문서에 접근할 수 있는 구조화된 환경을 설계한다.
• SQL 실행, 파일 편집, bash 명령어, 테이블 메타데이터 조회 등의 동작을 포함하는 코드 에이전트 프레임워크를 구현한다.
• 정확한 출력 형식(CSV 또는 텍스트), 전반적인 워크플로우 실행, YAML 정의 기반 검증을 요구하는 철저한 평가 프로토콜을 정의한다.

실험 결과

연구 질문

• RQ1 현재 LLM은 복잡한 다단계 데이터 엔지니어링 파이프라인을 포함한 실세계 기업용 텍스트-SQL 워크플로우에 얼마나 잘 일반화할 수 있는가?
• RQ2 대규모 스키마, 디어레이트 전용 함수, 외부 문서에 걸쳐 추론이 요구될 경우 LLM의 성능은 어떻게 되는가?
• RQ3 장문의 추론(보통 100줄 이상)과 다중 쿼리 생성이 실세계 기업 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 LLM은 프로젝트 수준의 코드베이스(예: dbt)를 얼마나 잘 다루고, 스키마 정의에 기반해 출력을 검증하는가?
• RQ5 伝통적 벤치마크에는 존재하지 않지만 실세계 기업 텍스트-SQL 워크플로우에서 나타나는 주요 실패 유형은 무엇인가?

주요 결과

• o1-preview 모델이 코드 에이전트 프레임워크를 사용해 유일하게 21.3%의 작업을 성공적으로 해결했으며, 이는 실세계 환경에서의 심각한 성능 격차를 시사한다.
• 이 성능는 Spider 1.0의 91.2% 및 BIRD의 73.0%에 비해 급격히 떨어지며, 기업 워크플로우의 복잡성이 증가했음을 반영한다.
• 기본값 SQL 쿼리의 평균 길이는 144토큰이며, ST_DISTANCE와 같은 고급 함수를 포함하고 있어 문법적·의미적 복잡성이 높다.
• 성공적인 해결을 위해서는 단순한 질문-SQL 매핑을 넘어서 메타데이터, 문서, 코드베이스와의 광범위한 상호작용이 필요했다.
• 모델들은 출력 형식 검증에 자주 실패했으며, 최종 결과로 CSV나 텍스트를 반환하기보다 중간 단계의 SQL을 반환하는 경우가 많았다.
• 쿼리 실행 이후에도 모델들은 특히 dbt 기반 프로젝트에서 스키마 정의에 기반한 결과 검증을 자주 실패했다.