[論文レビュー] Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System

Quanqing Xu, Chuanhui Yang+12 more|arXiv (Cornell University)|Feb 7, 2026

Advanced Database Systems and Queries被引用数 0

ひとこと要約

本論文は OceanBase を基盤とした分散型のほぼリアルタイムOLAPシステム OceanBase Mercury を提案する。適応的カラム型とロー型のストレージ、効率的なマテリアライズドビュー、ベクトル化エンジンを組み合わせ、ペタバイト規模で専門OLAPエンジンよりクエリを1.3×–3.1×高速化する。

ABSTRACT

The growing demand for database systems capable of efficiently managing massive datasets while delivering real-time transaction processing and advanced analytical capabilities has become critical in modern data infrastructure. While traditional OLAP systems often fail to meet these dual requirements, emerging real-time analytical processing systems still face persistent challenges, such as excessive data redundancy, complex cross-system synchronization, and suboptimal temporal efficiency. This paper introduces OceanBase Mercury as an innovative OLAP system designed for petabyte-scale data. The system features a distributed, multi-tenant architecture that ensures essential enterprise-grade requirements, including continuous availability and elastic scalability. Our technical contributions include three key components: (1) an adaptive columnar storage format with hybrid data layout optimization, (2) a differential refresh mechanism for materialized views with temporal consistency guarantees, and (3) a polymorphic vectorization engine supporting three distinct data formats. Empirical evaluations under real-world workloads demonstrate that OceanBase Mercury outperforms specialized OLAP engines by 1.3X to 3.1X speedup in query latency while maintaining sub-second latency, positioning it as a groundbreaking AP solution that effectively balances analytical depth with operational agility in big data environments.

研究の動機と目的

• 巨大データ量をほぼリアルタイムのトランザクション処理と堅牢な分析機能でサポートするデータベースの必要性に対処する。
• ロー・ストアの全DMLを保持しつつ、分析速度をカラム型ベースラインデータで実現するハイブリッドストレージ設計を提案する。
• 時系列的一貫性のための全/増分更新メカニズムを備えたマテリアライズドビューを効率的に開発する。
• ハイブリッドTP/APワークロードに最適化されたベクトル化実行エンジンとデータフォーマットを作成する。

提案手法

• Baselineデータをカラム形式で保持し、増分データをロー形式で保持する新規の適応カラムストレージをLSMツリー内に提案する。 論理パーティションを物理タブレットへマッピングする二層パーティショニングで拡張可能なストレージを実現。 カラムストアを既存の OceanBase TP エンジンと統合し、カラム型ベースラインとロー型増分を組み合わせた TP/AP 統合処理を可能にする。 三つのデータ形式とハイブリッドレイアウト向け最適化オペレータを備えたベクトル化実行エンジンを設計する。 データスキップインデックス（ゾーンマップ類似）をSSTableに統合し、効率的な絞り込みと統計情報を提供する。 隠しテーブルとmlogベースの変更追跡を用いた全更新と増分更新を組み合わせたマテリアライズドビューを実装する。

Figure 1: System Architecture

実験結果

リサーチクエスチョン

• RQ1 ペタバイト規模のデータに対して別個のOLTP/OLAP基盤を設けず、ほぼリアルタイム分析を実現する分散HTAPシステムをどのように設計するか。
• RQ2 ハイブリッドストレージモデル（カラム型ベースライン＋ロー型増分）は単一エンジンで全DMLと分析性能を両立できるか。
• RQ3 ハイブリッドTP/AP設定における新鮮さとスループットを最適化するマテリアライズドビューの機構は何か。
• RQ4 統一TP/APシステムで複数データフォーマットとプッシュダウンをサポートするよう、ベクトル化エンジンをどのように適用・調整するか。

主な発見

• OceanBase Mercury は分散クラスタ上でペタバイト規模データを扱いながらサブ秒のレイテンシを実現する。
• 実世界のワークロード下で、専門のOLAPエンジンと比較してクエリレイテンシを1.3×～3.1×向上させる。
• 適応的ストレージとベクトル化実行により、別個のHTAP基盤を必要とせず真のTP/APシナジーを実現する。
• マテリアライズドビューは全更新と増分更新の両方をサポートし、ストレージと保守コストの効率的な活用を実現する。
• データスキップインデックスとプッシュダウン機能により、カラムストアでのI/Oを削減しクエリ処理を高速化する。

Figure 2: Hybrid Storage Architecture