[论文解读] DSSIM: a structural similarity index for floating-point data

Allison H. Baker, Alexander Pinard+1 more|arXiv (Cornell University)|Feb 5, 2022

Data Visualization and Analytics被引用 15

一句话总结

本文提出 DSSIM，一种计算效率更高的结构相似性指数（SSIM）替代方案，可直接在浮点数模拟数据上运行，而无需图像渲染。通过跳过图像生成步骤，DSSIM 相较于 SSIM 实现最高达 212× 的加速，同时保持与视觉相似性的强相关性，使其成为气候建模等高性能计算（HPC）工作负载中大规模有损压缩评估的理想选择。

ABSTRACT

Data visualization is a critical component in terms of interacting with floating-point output data from large model simulation codes. Indeed, postprocessing analysis workflows on simulation data often generate a large number of images from the raw data, many of which are then compared to each other or to specified reference images. In this image-comparison scenario, image quality assessment (IQA) measures are quite useful, and the Structural Similarity Index (SSIM) continues to be a popular choice. However, generating large numbers of images can be costly, and plot-specific (but data independent) choices can affect the SSIM value. A natural question is whether we can apply the SSIM directly to the floating-point simulation data and obtain an indication of whether differences in the data are likely to impact a visual assessment, effectively bypassing the creation of a specific set of images from the data. To this end, we propose an alternative to the popular SSIM that can be applied directly to the floating point data, which we refer to as the Data SSIM (DSSIM). While we demonstrate the usefulness of the DSSIM in the context of evaluating differences due to lossy compression on large volumes of simulation data from a popular climate model, the DSSIM may prove useful for many other applications involving simulation or image data.

研究动机与目标

• 解决在气候建模等场景中，使用 SSIM 进行大规模模拟数据分析时因图像渲染而产生的高计算成本问题。
• 克服在处理 TB 到 PB 级气候模型输出时，SSIM 在评估有损压缩性能方面存在的性能瓶颈。
• 开发一种度量方法，保留 SSIM 的视觉相似性评估能力，但直接在浮点数数据上运行，从而消除图像渲染的开销。
• 减少因可视化选择（如颜色映射和缩放）导致的 SSIM 中与数据本身无关的绘图特定偏差。
• 在计算效率至关重要的高性能计算工作流中，实现可扩展的自动化数据压缩质量评估。

提出的方法

• 提出 DSSIM 作为 SSIM 的直接类比，但其作用对象为浮点数组而非像素网格，采用与 SSIM 相同的结构相似性框架，但直接应用于原始数据。
• 通过在滑动窗口上计算局部统计量，将 SSIM 的核心组件——亮度、对比度和结构——直接应用于浮点数数据数组。
• 使用与 SSIM 相同的数学公式（亮度、对比度和结构度量），但计算对象为原始数据而非渲染后的图像。
• 在 ldcpy Python 软件包中实现 DSSIM，以支持集成到现有的数据比较与压缩评估工作流中。
• 通过对比 DSSIM 与在图像渲染后计算的 SSIM 值，验证方法的一致性，确保相似性评估结果可靠。
• 通过在相同软硬件环境下对真实气候模型数据（CESM-LENS）进行基准测试，测量 DSSIM 与 SSIM 的计算时间差异，量化性能提升。

实验结果

研究问题

• RQ1 是否能够通过在浮点数数据上直接计算相似性，实现与 SSIM 相当的视觉相似性评估效果，而无需图像渲染？
• RQ2 在图像生成后，DSSIM 与 SSIM 在相同数据上的相关性程度如何？
• RQ3 在大规模数据评估工作流中，使用 DSSIM 替代 SSIM 能够获得多大的计算性能提升？
• RQ4 DSSIM 是否降低了对绘图特定可视化选择（如颜色映射和缩放）的敏感性，从而避免因这些选择导致的 SSIM 值扭曲？
• RQ5 DSSIM 是否可作为自动化评估气候模型模拟数据有损压缩质量的可靠且可扩展的替代方案？

主要发现

• 在评估气候模型数据时，DSSIM 相较于 SSIM 最高可实现 212× 的加速，SSIM 计算耗时 7.89 秒的 PRECT 变量，DSSIM 仅需 0.0373 秒。
• DSSIM 与图像渲染后计算的 SSIM 值表现出强相关性，表明其能可靠预测视觉相似性。
• 性能提升在不同变量间保持一致，TS 变量实现 145× 加速，PRECT 变量实现 212× 加速。
• DSSIM 消除了因颜色映射、缩放等绘图特定选择引入的变异，这些选择原本可能在不改变数据的情况下影响 SSIM 值。
• 与 MSE 和 PSNR 等常见度量相比，DSSIM 在浮点数数据上的计算效率更高，因此更适合大规模评估场景。
• DSSIM 已成功集成至 ldcpy 软件包中，并已在实际中用于气候建模工作流中的自动化、可扩展压缩质量评估。