[論文レビュー] Large Language Model-Enhanced Relational Operators: Taxonomy, Benchmark, and Analysis

Yunxiang Su, Tianjing Zeng+6 more|arXiv (Cornell University)|Mar 3, 2026

Topic Modeling被引用数 0

ひとこと要約

この論文は、LLM強化 Relational Operators（LROs）の統一的分類法を提案し、27データベースにわたる290のsingle-LROおよび60のmulti-LROクエリから成る包括的なベンチマーク（LroBench）と、演算子実装およびmulti-LROシステムのエンドツーエンド評価を提示します。

ABSTRACT

With the development of large language models (LLMs), numerous studies integrate LLMs through operator-like components to enhance relational data processing tasks, e.g., filters with semantic predicates, knowledge-augmented table imputation, reasoning-driven entity matching and more challenging semantic query processing. These components invoke LLMs while preserving a relational input/output interface, which we refer to as LLM-Enhanced Relational Operators (LROs). From an operator perspective, unfortunately, these existing LROs suffer from fragmented definition, various implementation strategies and inadequate evaluation benchmarks. To this end, in this paper, we first establish a unified LRO taxonomy to align existing LROs, and categorize them into: Select, Match, Impute, Cluster and Order, along with their operands and implementation variants. Second, we design LROBench, a comprehensive benchmark featuring 290 single-LRO queries and 60 multi-LRO queries, spanning 27 databases across more than 10 domains. LROBench covers all operating logics and operand granularities in its single-LRO workload, and provides challenging multi-LRO queries stratified by query complexity. Based on these, we evaluate individual LROs under various implementations, deriving practical insights into LRO design choices and summarizing our empirical best practices. We further compare the end-to-end performance of existing multi-LRO systems against an LRO suite instantiated with these best practices, in order to investigate how to design an effective LRO set for multi-LRO systems targeting complex semantic queries. Last, to facilitate future work, we outline promising future directions and open-source all benchmark data and evaluation code, available at https://github.com/LROBench/LROBench/.

研究の動機と目的

• 異なるLRO定義を統一分類法（Select、Match、Impute、Cluster、Order）へ統合し、オペランド粒度（セル、行、列、表）を跨ぐ。
• 幅広いドメインにわたる単一LROおよび複数LROクエリを含む、演算子レベルおよびシステムレベルの包括的ベンチマーク（LroBench）を作成する。
• 各LROタイプの実装バリエーションを評価して、実務的なベストプラクティスとトレードオフを導く。
• 既存のmulti-LROシステムのエンドツーエンド性能を、ベストプラクティス構成と比較して効果的なLRO設計を導く。

提案手法

• 三次元LRO分類法を提案する（動作論理、オペランド粒度、実装バリアント）。
• 10+ドメインの27データベースにわたる、290のsingle-LROおよび60のmulti-LROクエリを備えたLroBenchを設計する。 ground truthと計画を手作業で整理する。
• 異なる実装戦略（LLM-ALL対LLM-ONE、さまざまな結合、代入、並べ替え戦略）で個々のLROを評価する。
• オペレーター単位のベストプラクティスとエンドツーエンドのガイドラインを導くため、multi-LROシステムの性能を分析する。
• 参照リポジトリにオープンソースのベンチマークデータと評価コードを提供する。

Figure 1 . Examples of standalone-LRO components and multi-LRO systems.

実験結果

リサーチクエスチョン

• RQ1 Q1: 現在のLROの背後にある異なる動作論理は何個か？
• RQ2 Q2: 異なるLRO実装は性能にどう影響するか？
• RQ3 Q3: オペレーター単位のベストプラクティスを組み込むために、multi-LROシステムをどう設計すべきか、既存システムはそれを効果的に行っているか？

主な発見

• 統一された分類法（Select、Match、Impute、Cluster、Order）は、オペランド（セル、行、列、表）と実装（LLM-ALL対LLM-ONE）に対して提案され、既存のLROと整合している。
• LroBenchは27データベースと10+ドメインにまたがり、290のsingle-LROおよび60のmulti-LROクエリを提供し、演算子レベルおよびシステムレベルの評価を可能にする。
• 各LROタイプに対する具体的なベストプラクティスの洞察と、実装バリアント間のトレードオフを評価が明らかになる。
• multi-LROシステムのベストプラクティス構成は一貫して他の設定を上回り、著者の実験でエンドツーエンド性能を最大86.67%達成。
• 著者は将来のLROベンチマークと分析のためにオープンソースのベンチマークデータと評価コードを提供する。

Figure 2 . An example to illustrate LLM-enhanced operators.