[論文レビュー] Beyond Single-Modal Analytics: A Framework for Integrating Heterogeneous LLM-Based Query Systems for Multi-Modal Data

Ruyu Li, Tinghui Zhang+3 more|arXiv (Cornell University)|Feb 2, 2026

Semantic Web and Ontologies被引用数 0

ひとこと要約

要約: 本論文は、異種の専門的LMMベースのクエリシステムを統合した統一的なマルチモーダル分析パイプラインを提供するモジュール式フレームワーク「Meta Engine」を提案し、複雑なタスクの性能を向上させる。

ABSTRACT

With the increasing use of multi-modal data, semantic query has become more and more demanded in data management systems, which is an important way to access and analyze multi-modal data. As unstructured data, most information of multi-modal data (text, image, video, etc.) hides in the semantics, which cannot be accessed by traditional database queries like SQL. Given the power of Large Language Models (LLMs) in understanding semantics and processing natural language, in recent years several LLM-based semantic query systems have been proposed to support semantic querying over unstructured data. However, this rapid growth has produced a fragmented ecosystem. Applications face significant integration challenges due to (1) disparate APIs of different semantic query systems and (2) a fundamental trade-off between specialization and generality. Many semantic query systems are highly specialized, offering state-of-the-art performance within a single modality but struggling with multi-modal data. Conversely, some "all-in-one" systems handle multiple modalities but often exhibit suboptimal performance compared to their specialized counterparts in specific modalities. This paper introduces Meta Engine, a novel ``query system on query systems'', designed to resolve those aforementioned challenges. Meta Engine is a unified semantic query engine that integrates heterogeneous, specialized LLM-based query systems. Its architecture comprises five key components: (1) a Natural Language (NL) Query Parser, (2) an Operator Generator, (3) a Query Router, (4) a set of Adapters, and (5) a Result Aggregator. In the evaluation, Meta Engine consistently outperforms all baselines, yielding 3--6x higher F1 in most cases and up to ~24x on specific datasets.

研究の動機と目的

• モダリティ間でのLLMベースセマンティッククエリシステムの断片化を動機づけ、解決する。
• アダプターを介して専門システムを統合する統一的・拡張可能なフレームワーク（Meta Engine）を提案する。
• 統一されたユーザーインターフェースと柔軟なパイプラインコンポーネントを提供し、容易な統合とカスタマイズを実現する。
• エンドツーエンド評価とアブレーションを通じてベースラインより性能が向上することを示す。

提案手法

• トップレベルAPI、ビルディングブロック、ボトムレベルアダプターの三層構造を持つMeta Engineアーキテクチャを導入する。
• クエリ前処理（Query Decomposer）を実装し、複雑なNLクエリを動的にサブクエリへ分解する。
• 信頼性ベースのオペレータランキング（select_op）を用いてサブクエリを複数データオペレータ（TextAnalytics、ImageAnalytics、TableAnalytics）へマッピングする。
• クエリルータ（統計ベースまたは学習ベース）を介してオペレータを適切なアダプターへルーティングし、実行を行う。
• クエリ後処理（Result Aggregator）を提供し、サブクエリ結果を統合して最終回答を生成する。
• モジュール化・拡張可能なコンポーネントと統一APIを通じてパイプラインのカスタマイズを可能にする。

Figure 1 . An End-to-End Multimodal Analytical Query Example in Meta Engine

実験結果

リサーチクエスチョン

• RQ1 異種の専門的LMMベースクエリシステムを1つのパイプラインに統合してマルチモーダルデータを処理するにはどうすればよいか。
• RQ2 この統合において高性能と柔軟性を実現する設計とコンポーネントは何か。
• RQ3 統一APIとアダプターは開発の容易さを改善し、精度を保つまたは向上させるか。
• RQ4 統計ベースと学習ベースの異なるルーティング戦略は性能にどのような影響を与えるか。
• RQ5 分解・計画・実行の最適化がエンドツーエンドの結果にどのように影響するか。

主な発見

• Meta Engineは大半のケースでベースラインよりF1を3–6倍向上し、いくつかのデータセットでは最大24倍に達する。
• 統一パイプラインは専門システムの長所を活かすことでマルチモーダルセマンティック処理を大幅に改善する。
• 統計ベースと学習ベースの2つのルータ戦略はトレードオフを提供し、学習ベースは一般により正確で、統計ベースは時に優れている場合がある。
• 依存関係ベースの並列性を用いた動的なクエリ分解は効率とスケーラビリティを向上させる。
• 総合的な評価とアブレーション研究により、各主要コンポーネントの寄与を示す。

Figure 2 . Architecture of Meta Engine