[논문 리뷰] Querying Large Language Models with SQL

Mohammed Saeed, Nicola De Cao외 1명|arXiv (Cornell University)|2023. 04. 02.

Natural Language Processing Techniques인용 수 9

한 줄 요약

논문은 데이터를 사전 학습된 LLM에 저장하여 SQL 쿼리를 실행하는 DB-우선 프로토타입인 Galois를 제시하며, 많은 쿼리에서 전통적인 DBMS와 비교할 만한 결과를 보여주고 하이브리드 LLM-DB 질의의 주요 연구 과제를 개요합니다.

ABSTRACT

In many use-cases, information is stored in text but not available in structured data. However, extracting data from natural language text to precisely fit a schema, and thus enable querying, is a challenging task. With the rise of pre-trained Large Language Models (LLMs), there is now an effective solution to store and use information extracted from massive corpora of text documents. Thus, we envision the use of SQL queries to cover a broad range of data that is not captured by traditional databases by tapping the information in LLMs. To ground this vision, we present Galois, a prototype based on a traditional database architecture, but with new physical operators for querying the underlying LLM. The main idea is to execute some operators of the the query plan with prompts that retrieve data from the LLM. For a large class of SQL queries, querying LLMs returns well structured relations, with encouraging qualitative results. Preliminary experimental results make pre-trained LLMs a promising addition to the field of database systems, introducing a new direction for hybrid query processing. However, we pinpoint several research challenges that must be addressed to build a DBMS that exploits LLMs. While some of these challenges necessitate integrating concepts from the NLP literature, others offer novel research avenues for the DB community.

연구 동기 및 목표

• 사전 학습된 LLM을 사용하여 비구조화된 텍스트로부터 지식을 접근하기 위해 SQL을 이용해 질의하는 방법을 제안한다.
• LLMs가 전통적인 쿼리 계획에서 특정 물리 연산자를 구현하는 DB-우선 아키텍처를 구체화한다.
• Galois를 기반으로 한 프로토타입 및 Spider 기반 질의에 대한 예비 실험으로 실현 가능성을 평가한다.
• 전통적인 DBMS와 함께 LLM을 질의하는 데 있어 핵심 아키텍처 및 데이터 품질 관련 과제를 식별한다.

제안 방법

• SQL 질의를 LLM이 수행하는 일련의 단계로 분해하고, 특수하게 설계된 프롬프트를 통해 이를 실행하는 DB-우선 아키텍처(Galois)를 도입한다.
• 물리 연산자를 텍스트 프롬프트로 구현하여 주요 속성을 검색하고 결합, 선택, 투영을 위한 추가 속성을 점진적으로 채운다.
• LLM 출력물을 구조화된 셀로 변환하고 완성된 튜플에 대해 조인, 집계 등의 전통적 연산자를 적용한다.
• LLM 환각을 완화하기 위해 정규화 및 타입 제약을 적용하면서 충분한 튜플을 수집하기 위해 프롬프트를 반복한다.
• 프롬프트 기반 검색과 전통적인 DB 알고리즘을 결합한 워크플로를 제공하여 SPJA 질의를 처리한다.

실험 결과

연구 질문

• RQ1 SQL 질의가 사전 학습된 LLM에 저장된 데이터를 대상으로 SQL 의미를 유지하면서 효과적으로 실행될 수 있는가?
• RQ2 LLMs와 전통 DBMS의 하이브리드 질의를 위한 가장 실현 가능한 아키텍처 설계(DB-우선 대 LLM-우선)는 무엇인가?
• RQ3 SQL로 LLM을 질의할 때의 주요 과제(스키마 모호성, 키, 사실성 등)는 무엇이며 이를 어떻게 완화할 수 있는가?
• RQ4 Galois는 동일 질의를 전통적인 DBMS에서 실행하거나 LLM을 통한 NL QA로 실행하는 것과 비교하여 어떤 성능을 보이는가?
• RQ5 데이터베이스 스타일의 질의 처리에 LLM을 통합하기 위한 한계점과 향후 방향은 무엇인가?

주요 결과

• Galois는 46개의 Spider 질의에 대해 LLM으로부터 SQL-관계형 출력 구조를 생성할 수 있으며, 지표상으로 Ground-Truth DB 결과와 동일한 스키마에 근접한 결과를 달성한다.
• GPT 기반 모델의 경우 반환된 튜플 수가 Ground-Truth 기대값에 가까운 반면, 더 작은 모델은 카디나리티 차이가 더 크게 나타난다.
• ChatGPT에서의 셀 값 수준의 콘텐츠 정확도는 동일한 질의에 대해 NL-질의 기반 QA보다 평균적으로 더 나은 편이며, 선택 질의는 일부 하위 종류에서 약 80%의 정답 비율로 가장 잘 수행된다.
• 조인은 가장 도전적인 서브클래스로, 이질적인 텍스트 형식(예: 국가 코드 변형)으로 인해 실패하는 경우가 많다.
• 잘 구성된 연쇄 사고 프롬프트는 Galois에서 자동으로 생성된 프롬프트 기반 실행보다 우수하지 못했으며, 프롬프트 자동화가 효과적일 수 있음을 시사한다.