[论文解读] Building an OceanBase-based Distributed Nearly Real-time Analytical Processing Database System

Quanqing Xu, Chuanhui Yang+12 more|arXiv (Cornell University)|Feb 7, 2026

Advanced Database Systems and Queries被引用 0

一句话总结

论文提出 OceanBase Mercury，这是一个建立在 OceanBase 之上的分布式近实时OLAP系统，结合自适应列式存储与行式存储、有效的物化视图以及向量化执行引擎，在PB级数据规模上实现比专业OLAP引擎快1.3×–3.1×的查询。

ABSTRACT

The growing demand for database systems capable of efficiently managing massive datasets while delivering real-time transaction processing and advanced analytical capabilities has become critical in modern data infrastructure. While traditional OLAP systems often fail to meet these dual requirements, emerging real-time analytical processing systems still face persistent challenges, such as excessive data redundancy, complex cross-system synchronization, and suboptimal temporal efficiency. This paper introduces OceanBase Mercury as an innovative OLAP system designed for petabyte-scale data. The system features a distributed, multi-tenant architecture that ensures essential enterprise-grade requirements, including continuous availability and elastic scalability. Our technical contributions include three key components: (1) an adaptive columnar storage format with hybrid data layout optimization, (2) a differential refresh mechanism for materialized views with temporal consistency guarantees, and (3) a polymorphic vectorization engine supporting three distinct data formats. Empirical evaluations under real-world workloads demonstrate that OceanBase Mercury outperforms specialized OLAP engines by 1.3X to 3.1X speedup in query latency while maintaining sub-second latency, positioning it as a groundbreaking AP solution that effectively balances analytical depth with operational agility in big data environments.

研究动机与目标

• 满足在海量数据量下实现近实时事务处理与强健分析能力的数据库需求。
• 提出混合存储设计，在行存保留完整DML的同时，通过列式基线数据提升分析速度。
• 开发具备完整与增量刷新机制的高效物化视图，以实现时序一致性。
• 创建面向混合TP/AP工作负载的向量化执行引擎与数据格式。

提出的方法

• 提出在LSM树内的自适应列存储，将基线数据以列存形式存储、增量数据以行形式存储以支持全量DML。 两层分区映射逻辑分区到物理分区，提供可扩展的存储。 将列存与现有 OceanBase TP 引擎集成，使 TP/AP 统一处理，以列式基线和行式增量为基础。 设计一个向量化执行引擎，包含三种数据格式和针对混合布局优化的操作符。 实现数据跳跃索引（类似区域映射）集成到 SSTables，以实现高效裁剪和统计信息。 开发具有完整与增量刷新能力的物化视图，使用隐藏表和基于 mlog 的变更跟踪。

Figure 1: System Architecture

实验结果

研究问题

• RQ1 如何架构一个在 PB 级数据上实现近实时分析且无需单独的 OLTP/OLAP 基础设施的分布式HTAP系统？
• RQ2 混合存储模型（列式基线 + 行式增量）能否在单引擎内同时提供完整DML和分析性能？
• RQ3 在混合TP/AP场景中，哪些机制能提升物化视图的新鲜度与吞吐量？
• RQ4 如何为向量化引擎定制以支持多种数据格式并在统一的 TP/AP 系统中实现下推？

主要发现

• OceanBase Mercury 在分布式集群上处理PB级数据时实现亚秒级延迟。
• 在真实工作负载下，与专门的OLAP引擎相比，该系统在查询延迟方面实现1.3×至3.1×的加速。
• 自适应存储与向量化执行实现真正的TP/AP协同，无需单独的HTAP基础设施。
• 物化视图支持完整与增量刷新，且在存储与维护成本方面更高效。
• 数据跳跃索引与下推能力降低I/O，提升列存查询处理速度。

Figure 2: Hybrid Storage Architecture