[논문 리뷰] CBR-to-SQL: Rethinking Retrieval-based Text-to-SQL using Case-based Reasoning in the Healthcare Domain

Hung T. Nguyen, Hans Moen외 1명|arXiv (Cornell University)|2026. 03. 05.

Biomedical Text Mining and Ontologies인용 수 0

한 줄 요약

CBR-to-SQL은 Masked Case Templates와 별도의 엔티티 그라운딩 단계 를 사용하는 두 단계 검색 프레임워크를 도입하여 헬스케어에서 자연어 질문을 SQL로 번역하고, 특히 데이터 부족 상황에서 최첨단 논리 형식 정확도와 강건성을 달성합니다.

ABSTRACT

Extracting insights from Electronic Health Record (EHR) databases often requires SQL expertise, creating a barrier for healthcare decision-making and research. While a promising approach is to use Large Language Models (LLMs) to translate natural language questions to SQL via Retrieval-Augmented Generation (RAG), adapting this approach to the medical domain is non-trivial. Standard RAG relies on single-step retrieval from a static pool of examples, which struggles with the variability and noise of medical terminology and jargon. This often leads to anti-patterns such as expanding the task demonstration pool to improve coverage, which in turn introduces noise and scalability problems. To address this, we introduce CBR-to-SQL, a framework inspired by Case-Based Reasoning (CBR). It represents question-SQL pairs as reusable, abstract case templates and utilizes a two-stage retrieval process that first captures logical structure and then resolves relevant entities. Evaluated on MIMICSQL, CBR-to-SQL achieves state-of-the-art logical form accuracy and competitive execution accuracy. More importantly, it demonstrates higher sample efficiency and robustness than standard RAG approaches, particularly under data scarcity and retrieval perturbations.

연구 동기 및 목표

• EHR 데이터 접근에서 SQL 전문 지식이 장애가 되는 의료 분야에서 텍스트-대-SQL의 필요성을 제시합니다.
• 논리 구조 검색을 엔티티 그라운딩과 분리하는 Case-based Reasoning(CBR) 프레임워크를 제안합니다.
• 마스킹된 케이스 템플릿이 재사용 가능한 패턴을 가능하게 하고 샘플 효율성과 강건성을 향상시킨다는 것을 보입니다.

제안 방법

• 질의-SQL 쌍을 스키마 특유의 엔티티를 마스킹하여 추상적 케이스 템플릿으로 변환합니다(Case Retain).
• 추론 중 유사한 마스킹된 템플릿을 검색하고(Template Construction) LLM으로 초안 SQL 템플릿을 생성합니다.
• 플레이스홀더 엔티티를 스키마 인식 탐색 표(Source Discovery)에 근거해 그라운딩하고 구체적 스키마 엔티티를 채워 실행 가능한 SQL을 생성합니다.
• 패턴과 EHR 그라운딩에 대한 별도 데이터 소스를 활용하여 논리 구조와 엔티티 해석을 분리하는 두 단계 검색 접근 방식을 사용합니다.
• 검색된 케이스에 대한 민감도를 평가하기 위해 Complete 및 Incomplete Database 설정과 brittleness 지표를 포함하여 MIMICSQL로 평가합니다.

Figure 1: Overview of the CBR-to-SQL architecture.

실험 결과

연구 질문

• RQ1 의료 분야에서 표준 RAG와 비교했을 때 두 단계의 사례 기반 검색 프레임워크가 텍스트-대-SQL에서 어떤 성능을 보이나요?
• RQ2 마스킹 및 템플릿화가 데이터 부족 및 검색 교란 상황에서 샘플 효율성과 강건성을 향상시키나요?
• RQ3 논리 구조 검색과 엔티티 그라운딩을 분리하는 것이 정확도와 취약성에 어떤 영향을 미치나요?
• RQ4 CBR-to-SQL이 RAG 기반 기준선에 비해 불완전한 데이터 regime에서 어떻게 일반화되나요?

주요 결과

방법	Acc_EX	Acc_LF
SQLNet	0.260	0.142
PtrGen	0.292	0.180
Coarse2Fine	0.378	0.496
TREQS	0.654	0.556
RAG-to-SQL	0.855	0.811
CBR-to-SQL	0.882	0.828
MedTS	0.899	0.784
GE-SQL	0.942	–

• CBR-to-SQL은 Complete Database 설정에서 RAG-to-SQL보다 Acc_EX가 더 높고 Acc_LF도 더 높습니다(0.882 대 0.855, 0.828 대 0.811).
• CBR-to-SQL은 MIMICSQL에서 최첨단 Acc_LF를 달성하고 경쟁력 있는 Acc_EX를 보이며 여러 기준선을 능가합니다(예: TREQS, Coarse2Fine, PtrGen, SQLNet).
• Incomplete Database 설정에서 CBR-to-SQL은 RAG-to-SQL에 비해 강한 우위를 유지합니다(0.842 대 0.777 Acc_EX; 0.780 대 0.747 Acc_LF).
• Complete 및 Incomplete 설정 양쪽에서 Ex 및 LF 지표에 대해 RAG-to-SQL보다 취약성이 낮게 나타납니다(예: Δbrittle_EX: CDB 0.047 대 0.065; IDB의 Δbrittle_EX: 0.049 대 0.068).
• 애블레이션 연구에서 Source Discovery를 제거하면 성능이 크게 감소하는 반면, Masking 기반 Template Construction은 노이즈에 대해 회복력을 제공합니다.

Figure 2: CBR cycle adapted from aamodt1994case .