[论文解读] Bigtable Merge Compaction

Claire Mathieu, Carl Staelin+2 more|arXiv (Cornell University)|Jul 11, 2014

Cloud Computing and Resource Management参考文献 23被引用 6

一句话总结

本文为Bigtable的LSM存储系统中的在线合并策略设计与分析引入了形式化工具，提出新算法通过竞争分析实现接近最优的性能。研究提出理论严谨且经实证验证的策略，在具有i.i.d.文件长度和读取速率的真实工作负载下，显著降低了合并与读取成本，优于现有启发式方法。

ABSTRACT

NoSQL databases are widely used for massive data storage and real-time web applications. Yet important aspects of these data structures are not well understood. For example, NoSQL databases write most of their data to a collection of files on disk, meanwhile periodically compacting subsets of these files. A compaction policy must choose which files to compact, and when to compact them, without knowing the future workload. Although these choices can affect computational efficiency by orders of magnitude, existing literature lacks tools for designing and analyzing online compaction policies --- policies are now chosen largely by trial and error. Here we introduce tools for the design and analysis of compaction policies for Google Bigtable, propose new policies, give average-case and worst-case competitive analyses, and present preliminary empirical benchmarks.

研究动机与目标

• 为解决NoSQL数据库（如Bigtable）中在线合并策略设计与分析缺乏形式化工具的问题。
• 降低合并与读取操作的计算开销，这些是LSM存储系统中的主要性能瓶颈。
• 在未知未来工作负载的不确定性环境下，设计表现良好的策略，采用竞争分析方法。
• 提供最优策略与在线策略成本的理论界，支持性能估计与比较。
• 通过实证验证新策略相较于现有启发式方法（如Google默认策略与BRB）的性能，实现显著的成本降低。

提出的方法

• 将Bigtable合并合并（BMC）问题建模为一种基于栈的在线优化问题，其中文件长度被依次压入栈中，并以连续序列方式合并，以最小化总成本。
• 引入一个依赖于栈大小k的读取成本函数f(k)，用于捕捉跨多级存储读取键的开销。
• 提出两种新型在线算法：一种用于有界合并大小（BMC≤K），另一种用于线性读取成本（线性BMC），两者均基于对平均文件长度和读取速率的估计，采用自适应合并策略。
• 应用最坏情况与平均情况的竞争分析，证明新算法的成本可控制在最优离线成本的(1+o(1))倍以内。
• 通过基于阶段的合并与统计估计，长期保持对平均文件长度与读取速率的(1±ε)精度估计。
• 采用两阶段策略：初始阶段采用激进合并以减小栈大小，随后在各阶段内使用估计的最优调度进行合并。

实验结果

研究问题

• RQ1 我们能否设计出即使在不了解未来工作负载的情况下，仍能保证接近最优的Bigtable在线合并策略？
• RQ2 在线策略的理论竞争比与在真实i.i.d.工作负载下的实际性能表现相比如何？
• RQ3 对平均文件长度与读取速率的自适应估计是否能在实际中实现接近最优的性能？
• RQ4 所提出的策略与现有启发式方法（如Google默认策略与BRB）相比，在总成本与可扩展性方面表现如何？
• RQ5 文件长度与读取速率分布对不同合并策略性能的影响是什么？

主要发现

• 所提出的BMC≤K在线算法的期望成本在最优离线成本的(1+o(1))倍以内，初始阶段总成本为O(ℓ[1,n] + r[1,n])。
• 对于线性BMC，定理4中的算法渐近匹配最优成本β log n（每时间步），其中β满足1/2^(ℓ̄/β) + 1/2^(r̄/β) = 1。
• 实证基准测试表明，BRB算法显著优于Google默认策略，尤其在n ≥ K·3^K的大规模场景下，成本接近最优水平。
• 即使在小规模n下，BRB也表现接近最优，且显著优于默认策略，尤其当文件长度服从对数正态分布且读取速率为i.i.d.指数分布时。
• 定理3中的算法在ℓ̄/r̄较小时表现良好，但当该比值较大时性能下降，表明对工作负载失衡敏感。
• 总体而言，所提策略在实践中实现了接近最优的性能，期望成本在最优成本的(1+o(1))倍以内，验证了理论竞争分析的有效性。