[논문 리뷰] EvoSchema: Towards Text-to-SQL Robustness Against Schema Evolution

Tianshu Zhang, Kun Qian외 5명|arXiv (Cornell University)|2026. 03. 11.

Natural Language Processing Techniques인용 수 0

한 줄 요약

EvoSchema는 현실적인 스키마 변화에서 텍스트- SQL의 강건성을 평가하고 개선하는 벤치마크이자 학습 패러다임으로, 특히 테이블 수준에서의 교란을 포괄적으로 분류하고 학습 중 스키마 설계 보강을 통해 이를 달성한다.

ABSTRACT

Neural text-to-SQL models, which translate natural language questions (NLQs) into SQL queries given a database schema, have achieved remarkable performance. However, database schemas frequently evolve to meet new requirements. Such schema evolution often leads to performance degradation for models trained on static schemas. Existing work either mainly focuses on simply paraphrasing some syntactic or semantic mappings among NLQ, DB and SQL, or lacks a comprehensive and controllable way to investigate the model robustness issue under the schema evolution, which is insufficient when facing the increasingly complex and rich database schema changes in reality, especially in the LLM era. To address the challenges posed by schema evolution, we present EvoSchema, a comprehensive benchmark designed to assess and enhance the robustness of text-to-SQL systems under real-world schema changes. EvoSchema introduces a novel schema evolution taxonomy, encompassing ten perturbation types across columnlevel and table-level modifications, systematically simulating the dynamic nature of database schemas. Through EvoSchema, we conduct an in-depth evaluation spanning different open source and closed-source LLMs, revealing that table-level perturbations have a significantly greater impact on model performance compared to column-level changes. Furthermore, EvoSchema inspires the development of more resilient text-to-SQL systems, in terms of both model training and database design. The models trained on EvoSchema's diverse schema designs can force the model to distinguish the schema difference for the same questions to avoid learning spurious patterns, which demonstrate remarkable robustness compared to those trained on unperturbed data on average. This benchmark offers valuable insights into model behavior and a path forward for designing systems capable of thriving in dynamic, real-world environments.

연구 동기 및 목표

• 실제 세계 애플리케이션에서 진화하는 데이터베이스 스키마에 대처하는 강건한 텍스트-대- SQL 시스템의 필요성을 고취한다.
• 열 가지 교란 유형의 포괄적 스키마 진화 분류체계를 컬럼 수준과 테이블 수준으로 도입한다.
• 현실적인 진화 시나리오를 시뮬레이션하기 위해 BIRD 기반 스키마를 교란시켜 EvoSchema를 만든다.
• 스키마 진화 하에서 오픈 소스 및 폐쇄 소스 LLM을 평가해 강건성의 격차를 이해한다.
• 다양한 스키마 설계로 데이터를 보강하는 학습 패러다임을 제안하여 강건성을 향상시킨다.

제안 방법

• 스키마 진화 분류체계를 열 가지 교란 유형으로 정의한다(다섯 가지 컬럼 수준: 추가-추가, 제거, 재이름-rename, 분할-split, 병합-merge; 다섯 가지 테이블 수준: 추가-add, 제거-remove, 재이름-rename, 분할-split, 병합-merge).
• NLQ를 고정하고 골드 SQL을 조정하면서 BIRD 데이터셋의 시드를 교란시켜 EvoSchema를 합성한다.
• 휴리스틱과 GPT 모델(GPT-3.5, GPT-4)을 결합한 하이브리드 데이터생성 프레임워크를 사용해 현실적인 컬럼/테이블 교란을 생성한다.
• altered schemas와 골드 SQL의 정확성을 보장하기 위해 인간 검증 및 SQL 전문가들과의 교차 검증을 적용한다.
• 테이블 매치 F1과 컬럼 매치 F1의 두 개의 평가 지표를 도입해 테이블 및 컬럼 수준에서의 강건성을 측정한다.
• 다양한 스키마 설계로 데이터를 보강하여 스키마 변경 간 구분을 강제하고 잘못된 패턴의 학습을 줄이는 학습 패러다임을 적용한다.

Figure 1. The left (a) is the overview of the framework to collect EvoSchema dataset. The top right (b) is a column-level schema evolution example; the bottom right (c) is a table-level schema evolution example.

실험 결과

연구 질문

• RQ1 현대의 텍스트-대-SQL 모델은不同한 유형의 스키마 진화(컬럼-대 테이블 수준 교란)에 얼마나 민감한가?
• RQ2 다양한 스키마 설계로의 학습이 교란 유형 전반에서 모델의 강건성을 향상시킬 수 있는가?
• RQ3 텍스트-대-SQL에서 스키마 진화에 따른 강건성을 정량화하는 효과적인 지표는 무엇인가?

주요 결과

• 테이블 수준의 교란이 모델 성능에 미치는 영향이 컬럼 수준 교란보다 훨씬 크다.
• 두 가지 세밀한 지표인 Table Match F1과 Column Match F1이 서로 다른 교란 유형 간의 강건성 차이를 드러낸다.
• 다양한 스키마 설계로 데이터를 보강하는 학습(perturbation training)이 강건성을 향상시키며 다양한 교란 평가 데이터에서 현저한 이점을 보인다.
• EvoSchema 교란으로 학습된 모델은 비교군 데이터에서 교란 없이 학습된 모델에 비해 특정 스키마 교란 평가에서 최대 33포인트의 이득을 보인다.
• 오픈 소스 및 폐쇄 소스 LLM 간의 벤치마킹은 스키마 변경에 대한 민감도 차이를 하이라이트하고 더 강인한 텍스트-대-SQL 시스템의 설계에 정보를 제공한다.

Figure 2. An overview of different perturbation types of EvoSchema . The top is an unperturbed example in BIRD (Li et al. , 2024d ) ; the middle is the column-level perturbation; the bottom is the table-level perturbation. “Remove Col in SQL”: remove columns that appear in gold SQL; “Remove Tables”: