[论文解读] ImarisWriter: Open Source Software for Storage of Large Images in Blockwise Multi-Resolution Format

Igor Beati, Eliana Andreica+1 more|arXiv (Cornell University)|Aug 24, 2020

Parallel Computing and Optimization Techniques被引用 8

一句话总结

ImarisWriter 是一个开源的高性能 C++ 库，用于以块状多分辨率格式在 IMS 格式中写入大规模图像，支持高效的 I/O 操作、并行分块处理、压缩和多线程处理。它可在 2 分钟内写入 100GB 的图像，抽象了复杂的底层操作，可无缝集成到科学成像工作流中。

ABSTRACT

We publish as open source a high performance file writer library to store large images in the IMS format for high performance visualization and analysis. The library is capable of writing images at high speed. In just over 1 minute it can write a 100GB image to disk. The library takes care of all the details of multi-resolution resampling, chunking, compression, and multi-threading. It makes high performance writing of images in a useful format very easy.

研究动机与目标

• 解决在科学成像应用中高效存储和管理极大规模图像的挑战。
• 为将多分辨率图像数据写入磁盘提供高性能、可扩展的解决方案，同时最大限度减少开发人员的负担。
• 抽象低层次的复杂性，如分块、压缩和线程处理，从而实现快速集成到成像软件栈中。
• 为显微镜和生物医学成像中使用的 TB 级图像数据集提供高吞吐量 I/O 支持。
• 发布一个生产就绪的开源库，确保大规模图像数据工作流中的可重现性和互操作性。

提出的方法

• 该库实现了块状多分辨率图像格式，将大图像划分为可管理的、按空间索引的图块，以实现高效的 I/O 操作。
• 采用多线程技术并行化图像处理和 I/O 操作，显著提升写入吞吐量。
• 对每个数据块应用高效的压缩算法，以减少存储占用，同时不牺牲随机访问性能。
• 系统支持自动多分辨率重采样，为渐进式可视化生成金字塔层级。
• 使用专有的文件格式（IMS），专为随机访问和流式处理设计，针对可视化和分析工作负载进行了优化。
• 通过清晰的 C++ API 接口暴露实现，便于集成到现有的科学成像软件中。

实验结果

研究问题

• RQ1 如何在保持高效随机访问的前提下，以高吞吐量将大规模多分辨率图像写入磁盘？
• RQ2 在可扩展的图像存储系统中，管理分块、压缩和线程处理的性能开销是多少？
• RQ3 一个开源库是否能抽象低层次 I/O 复杂性，同时在科学成像工作负载中不牺牲性能？
• RQ4 使用块状多分辨率存储方法，TB 级图像数据集的可实现写入速度是多少？
• RQ5 该库的设计如何支持与生物医学成像中现有可视化与分析工具的互操作性？

主要发现

• 该库在 1 分钟多一点的时间内即可完成超过 100 GB 图像的写入，展示了在大规模图像数据上的高吞吐量性能。
• 该系统在单一统一的处理管道中高效管理了多分辨率重采样、分块、压缩和线程处理。
• 开源发布使得 IMS 格式在科学成像领域中可实现可重现性，并支持社区驱动的扩展。
• 该库抽象了复杂的 I/O 和内存管理问题，使开发人员能够专注于算法逻辑，而非底层存储细节。
• 该实现支持高效的随机访问和渐进式加载，这对大规模图像的交互式可视化至关重要。
• 该解决方案已具备生产就绪状态，适用于集成到生命科学和显微镜领域的高性能成像工作流中。