[論文レビュー] Querying Large Language Models with SQL

Mohammed Saeed, Nicola De Cao+1 more|arXiv (Cornell University)|Apr 2, 2023

Natural Language Processing Techniques被引用数 9

ひとこと要約

論文は、事前学習済みのLLMに格納されたデータ上でSQLクエリを実行するDB優先型のプロトタイプ「Galois」を提示し、多くのクエリで従来のDBMSと比較して有望な結果を示し、ハイブリッドLLM-DBクエリの主要な研究課題を概説します。

ABSTRACT

In many use-cases, information is stored in text but not available in structured data. However, extracting data from natural language text to precisely fit a schema, and thus enable querying, is a challenging task. With the rise of pre-trained Large Language Models (LLMs), there is now an effective solution to store and use information extracted from massive corpora of text documents. Thus, we envision the use of SQL queries to cover a broad range of data that is not captured by traditional databases by tapping the information in LLMs. To ground this vision, we present Galois, a prototype based on a traditional database architecture, but with new physical operators for querying the underlying LLM. The main idea is to execute some operators of the the query plan with prompts that retrieve data from the LLM. For a large class of SQL queries, querying LLMs returns well structured relations, with encouraging qualitative results. Preliminary experimental results make pre-trained LLMs a promising addition to the field of database systems, introducing a new direction for hybrid query processing. However, we pinpoint several research challenges that must be addressed to build a DBMS that exploits LLMs. While some of these challenges necessitate integrating concepts from the NLP literature, others offer novel research avenues for the DB community.

研究の動機と目的

• SQLを用いて未構造のテキスト由来知識へアクセスするためのLLMのクエリ手法を提案する。
• LLMsが従来のクエリプラン内の特定の物理演算子を実装するDB優先型アーキテクチャを基礎づける。
• プロトタイプ（Galois）とSpiderベースのクエリに関する予備実験で実現可能性を評価する。
• LLMsと従来のDBMSを同時にクエリする際の主要な設計上およびデータ品質の課題を特定する。

提案手法

• DB優先型アーキテクチャ（Galois）を導入し、SQLクエリをLLMを介して特別に設計されたプロンプトの連鎖として分解実行する。
• 物理演算子をテキストプロンプトとして実装し、結合・選択・射影のためにキー属性を取得し、追加属性を段階的に埋めていく。
• LLMの出力を構造化されたセルに変換し、完成したタプル上で結合・集計などの従来の演算子を適用する。
• 正規化および型制約を適用してLLMの幻覚を抑制するため、十分なタプルを収集するようプロンプトを反復する。
• プロンプトベースの取得と従来DBアルゴリズムを組み合わせたワークフローを提供し、SPJAクエリを処理する。

実験結果

リサーチクエスチョン

• RQ1 SQLクエリは、事前学習済みLLMに格納されたデータ上でSQLの意味論を preserve しつつ効果的に実行できるのか。
• RQ2 ハイブリッドなLLMと従来DBMSのクエリにおいて、DB優先型とLLM優先型のどちらの設計が最も実現可能か。
• RQ3 SQLでLLMをクエリする際の主な課題（スキーマの曖昧さ、キー、事実性など）は何で、それらをどう緩和できるか。
• RQ4 Galoisは従来のDBMS上で同じクエリを実行する場合やLLMs上でNL QAを用いる場合と比較してどうなるか。
• RQ5 データベース風のクエリ処理へLLMsを統合する際の制限と今後の方向性は何か。

主な発見

• GaloisはSpiderクエリ集合のうち46件についてLLMからSQLリレーショナル出力構造を生成でき、スキーマはグランドトゥルースDB結果と同等程度の結果を達成できる。
• GPT系モデルでは返されるタプル数がグランドトゥルースの期待値に近い一方、より小さなモデルではカーディナリティの差が大きい。
• ChatGPT上でのセル値レベルの内容正確性は、同じクエリに対してNL質問ベースのQAより平均的に高く、選択クエリは一部サブ種で約80%程度の正確性を示す。
• 結合は最も難易度が高く、異種テキスト形式（例：国コードのバリアント）により失敗することが多い。
• よく設計された連鎖的思考プロンプトは、Galoisで自動生成プロンプト実行に劣らず、プロンプト自動化が有効である可能性を示唆した。