[论文解读] MGARD+: Optimizing Multilevel Methods for Error-bounded Scientific Data Reduction

Xin Liang, Ben Whitney+9 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Data Compression Techniques参考文献 23被引用 4

一句话总结

MGARD+ 通过引入逐级系数量化和自适应多级分解，提出了一种高性能、误差有界的科学数据压缩框架，在相同失真水平下，压缩比最高提升 2 倍，分解/重构速度最快提升 70 倍，优于当前最先进方法。

ABSTRACT

Data management is becoming increasingly important in dealing with the large amounts of data produced by large-scale scientific simulations and instruments. Existing multilevel compression algorithms offer a promising way to manage scientific data at scale, but may suffer from relatively low performance and reduction quality. In this paper, we propose MGARD+, a multilevel data reduction and refactoring framework drawing on previous multilevel methods, to achieve high-performance data decomposition and high-quality error-bounded lossy compression. Our contributions are four-fold: 1) We propose a level-wise coefficient quantization method, which uses different error tolerances to quantize the multilevel coefficients. 2) We propose an adaptive decomposition method which treats the multilevel decomposition as a preconditioner and terminates the decomposition process at an appropriate level. 3) We leverage a set of algorithmic optimization strategies to significantly improve the performance of multilevel decomposition/recomposition. 4) We evaluate our proposed method using four real-world scientific datasets and compare with several state-of-the-art lossy compressors. Experiments demonstrate that our optimizations improve the decomposition/recomposition performance of the existing multilevel method by up to 70X, and the proposed compression method can improve compression ratio by up to 2X compared with other state-of-the-art error-bounded lossy compressors under the same level of data distortion.

研究动机与目标

• 应对来自 HPC 模拟和仪器的大规模科学数据管理挑战，其存储与分析成本过高。
• 克服现有多级压缩方法在高压缩比下性能低下且压缩质量欠佳的局限性。
• 在保持严格误差边界的前提下，同时提升多级数据压缩的压缩比与计算吞吐量。
• 通过支持分层组件的部分解压，实现高效的数据重构，以支持轻量级的后处理分析。
• 开发一种结合多级分解、优化量化与性能增强的框架，以满足真实科学工作负载的需求。

提出的方法

• 引入逐级系数量化，对每个多级分辨率下的系数应用不同的误差容限，以优化跨尺度的误差分布。
• 提出一种自适应分解策略，将多级过程作为预处理条件，并在达到足够精度时提前终止，从而降低计算成本。
• 应用算法优化，如内存访问模式调优、循环级并行化以及缓存感知的数据布局，以加速分解与重构过程。
• 利用分层多重网格风格的网格结构，将数据分离为不同分辨率与尺度的分量，实现高效可控误差的压缩。
• 将多级框架与误差有界的压缩原理相结合，确保派生量也处于用户指定的误差限制范围内。
• 采用混合方法，结合基于变换与基于预测的压缩思想，以在不牺牲性能的前提下提升压缩质量。

实验结果

研究问题

• RQ1 与当前最先进的压缩器相比，如何优化多级数据压缩，以在相同误差约束下实现更高的压缩比？
• RQ2 在不同多级分解系数上应用可变误差容限，对整体压缩质量与性能有何影响？
• RQ3 能否通过自适应终止分解过程来提升性能，同时不降低压缩保真度？
• RQ4 算法优化在多级分解与重构中的吞吐量提升方面，可达到何种程度？
• RQ5 在相同失真约束下，MGARD+ 与领先误差有界压缩器（如 ZFP 和 SZ）在性能与压缩质量上的对比如何？

主要发现

• 通过算法优化，MGARD+ 将基础多级方法的分解与重构性能最高提升 70 倍。
• 所提出的逐级量化策略在相同 PSNR 失真水平下，使压缩比最高达到当前最先进误差有界压缩器（如 ZFP、SZ）的 2 倍。
• 自适应分解方法通过在最优层级提前终止过程，减少了不必要的计算，提升了效率，同时未损害误差边界。
• 在四个真实科学数据集上的实验表明，MGARD+ 对点值量与派生量均保持了严格的误差控制，这是许多现有方法所不具备的关键优势。
• 该框架支持分层组件的部分解压，可在无需完全解压的情况下，对压缩表示进行高效后处理分析。
• MGARD+ 优于结合 ZFP 与 SZ 的混合方法，在避免其高计算开销的同时，实现了更优的压缩质量。