[论文解读] Hierarchical Bin Buffering: Online Local Moments for Dynamic External Memory Arrays

Daniel Lemire, Owen Kaser|R-libre (Université Téluq)|Oct 21, 2006

Algorithms and Data Compression参考文献 23被引用 5

一句话总结

本文提出分层二元缓冲（Hierarchical Bin Buffering），一种在大规模外部内存数组中高效计算局部矩的方法，仅使用少量内部缓冲区。通过将数据组织为重叠的二元组，并应用多项式插值，该方法实现了对数时间复杂度的查询性能，同时存储开销极低——支持类似小波变换的渐进式、近似查询，但内存开销远低于小波方法。

ABSTRACT

Local moments are used for local regression, to compute statistical measures such as sums, averages, and standard deviations, and to approximate probability distributions. We consider the case where the data source is a very large I/O array of size n and we want to compute the first N local moments, for some constant N. Without precomputation, this requires O(n) time. We develop a sequence of algorithms of increasing sophistication that use precomputation and additional buffer space to speed up queries. The simpler algorithms partition the I/O array into consecutive ranges called bins, and they are applicable not only to local-moment queries, but also to algebraic queries (MAX, AVERAGE, SUM, etc.). With N buffers of size sqrt{n}, time complexity drops to O(sqrt n). A more sophisticated approach uses hierarchical buffering and has a logarithmic time complexity (O(b log_b n)), when using N hierarchical buffers of size n/b. Using Overlapped Bin Buffering, we show that only a single buffer is needed, as with wavelet-based algorithms, but using much less storage. Applications exist in multidimensional and statistical databases over massive data sets, interactive image processing, and visualization.

研究动机与目标

• 通过减少对外部磁盘慢速访问的依赖，缓解大规模外部内存数组处理中的I/O瓶颈。
• 在大型数组中实现对任意范围的局部矩（如求和、方差、回归）的快速在线计算。
• 在支持渐进式查询近似的同时，相比小波方法显著降低存储需求。
• 在内部缓冲区空间有限的外部内存系统中，支持动态更新和代数查询（如多项式拟合）。

提出的方法

• 将数组划分为固定大小为b的重叠二元组，以实现预计算值的高效缓冲与复用。
• 采用多级分层缓冲机制，将查询时间复杂度降低至O(b log_b n)，使用N个大小为n/b的缓冲区。
• 对每个二元组应用拉格朗日插值，仅通过查询范围边界附近的少量二元组近似局部矩。
• 利用二项式展开，将任意点c处的局部矩表示为相对于范围起点的矩的函数。
• 使用单个实值缓冲区存储并更新多个阶次N的矩信息，从而支持多查询操作。
• 通过仅检索范围边缘附近的必要二元组，实现渐进式查询评估，降低时间和存储开销。

Figure 1: An algebraic range query supported by Bin Buffering, as in Eq. ( 2 ).

实验结果

研究问题

• RQ1 是否能以极低的内部内存开销，高效计算大规模外部内存数组中的局部矩查询？
• RQ2 分层缓冲机制如何在保持低存储需求的同时降低查询时间复杂度？
• RQ3 仅使用范围边界附近的少量二元组，分组拉格朗日插值在多大程度上能有效近似局部矩？
• RQ4 单个缓冲区是否能无显著存储开销地同时支持多个局部矩查询？
• RQ5 随着在范围边界附近使用更多二元组，近似误差如何衰减？

主要发现

• 使用N个大小为√n的缓冲区，局部矩查询的时间复杂度降至O(√n)，相比朴素方法显著提升性能。
• 采用分层缓冲后，查询时间复杂度达到O(b log_b n)，实现极低缓冲区使用下的对数可扩展性。
• 重叠二元组缓冲机制仅需一个缓冲区即可支持多个局部矩，使存储开销降至小波方法的几分之一。
• 当N=16且b=8时，仅需每边5个二元组即可捕获97%的误差，证明了在极低二元组使用量下仍具有高精度。
• 插值误差的幅值随距二元组边缘距离的增加而呈快于指数级衰减，验证了部分二元组评估的有效性。
• 该方法支持渐进式查询评估——用户可快速获得近似结果，并通过访问更多二元组逐步提升精度。

Figure 2: An algebraic range query supported by Hierarchical Bin Buffering. We essentially repeat Figure 1 over the buffer itself. In the example given, by aggregating buffer components, we replace 6 first-scale buffer components by 2 second-scale components.