[论文解读] Visualization of Large Volumetric Multi-Channel Microscopy Data Streams on Standard PCs

Tobias Brix, Jörg-Stefan Praßni+1 more|arXiv (Cornell University)|Jul 8, 2014

Advanced Fluorescence Microscopy Techniques参考文献 22被引用 12

一句话总结

本文提出一种基于增量八叉树的射线追踪技术，可在标准台式电脑上实现对大规模多通道体素显微镜数据流的交互式可视化。通过在数据加载过程中动态构建八叉树，该方法实现了在部分数据加载状态下对数据集的实时交互——支持复杂的渲染参数设置并能提前检测到有缺陷的扫描结果——且无需高端硬件或预处理集群。

ABSTRACT

Background: Visualization of multi-channel microscopy data plays a vital role in biological research. With the ever-increasing resolution of modern microscopes the data set size of the scanned specimen grows steadily. On commodity hardware this size easily exceeds the available main memory and the even more limited GPU memory. Common volume rendering techniques require the entire data set to be present in the GPU memory. Existing out-of-core rendering approaches for large volume data sets either are limited to single-channel volumes, or require a computer cluster, or have long preprocessing times. Results: We introduce a ray-casting technique for rendering large volumetric multi-channel microscopy data streams on commodity hardware. The volumetric data is managed at different levels of detail by an octree structure. In contrast to previous octree-based techniques, the octree is built incrementally and therefore supports streamed microscopy data as well as data set sizes exceeding the available main memory. Furthermore, our approach allows the user to interact with the partially rendered data set at all stages of the octree construction. After a detailed description of our method, we present performance results for different multi-channel data sets with a size of up to 24 GB on a standard desktop PC. Conclusions: Our rendering technique allows biologists to visualize their scanned specimen on their standard desktop computers without high-end hardware requirements. Furthermore, the user can interact with the data set during the initial loading to explore the already loaded parts, change rendering parameters like color maps or adjust clipping planes. Thus, the time of biologists being idle is reduced. Also, streamed data can be visualized to detect and stop flawed scans early during the scan process.

研究动机与目标

• 解决在标准硬件上处理超出主内存和GPU显存容量的大规模多通道体素显微镜数据集的可视化挑战。
• 克服现有外部存储方法的局限性，这些方法通常仅限于单通道数据、需要计算集群，或涉及长时间的预处理。
• 在渲染过程中实现对部分加载数据的实时用户交互，以减少空闲时间并提高工作流程效率。
• 支持数据流式采集，以便在显微镜实验过程中能提前检测到扫描错误。
• 为使用通用台式机的生物学家提供一种无需专用硬件或集群基础设施的可访问解决方案。

提出的方法

• 采用增量八叉树数据结构，以多级细节管理体素数据，实现外部存储渲染。
• 使用射线追踪进行体素渲染，数据在八叉树构建过程中按需加载和处理。
• 在数据摄入过程中逐步构建八叉树，使可视化可在完整数据加载完成前即开始。
• 通过在同一渲染管道中独立处理每个通道，支持多通道数据。
• 在数据加载不完整时仍支持实时用户交互（例如调整颜色映射、裁剪平面等）。
• 通过流式传输数据并仅将必要的八叉树节点缓存在主内存和GPU内存中，优化内存使用。

实验结果

研究问题

• RQ1 是否可以在标准台式电脑上无需高端硬件，对大规模多通道体素显微镜数据集实现实时交互式可视化？
• RQ2 增量八叉树构建是否能实现在完整数据加载完成前的实时渲染与用户交互？
• RQ3 该方法是否支持数据流式采集，以在显微镜实验过程中提前检测扫描错误？
• RQ4 随着数据集大小和通道数量的增加，增量八叉树方法的性能如何扩展？
• RQ5 在支持动态颜色映射和裁剪平面等复杂渲染参数的同时，该方法能否保持交互式帧率？

主要发现

• 该方法成功在标准台式电脑上对最大达24 GB的多通道显微镜数据集实现了可视化，且无需专用硬件。
• 从数据加载初期即可实现实时渲染，显著减少了生物学家的等待时间。
• 用户可在完整数据集加载完成前实时调整颜色映射、裁剪平面等渲染参数。
• 通过在数据流式传输过程中实现可视化，系统支持对有缺陷扫描的早期检测，提升了实验效率。
• 增量八叉树结构通过在多级细节下管理数据而无需预处理，实现了高效的外部存储渲染。
• 性能结果表明，该方法在通用硬件上实现了交互式帧率，使其在常规生物研究中具有实际应用价值。