[论文解读] STRIELAD -- A Scalable Toolkit for Real-time Interactive Exploration of Large Atmospheric Datasets

Simon Schneegans, L. Neary+2 more|ArXiv.org|Jan 24, 2025

Distributed and Parallel Computing Systems被引用 3

一句话总结

STRIELAD 是一个可扩展的天气分析工具包，使用智能数据加速、并行特征提取和细节层次渲染来实现对极大大气数据集的实时交互式探索与可视化。

ABSTRACT

Technological advances in high performance computing and maturing physical models allow scientists to simulate weather and climate evolutions with an increasing accuracy. While this improved accuracy allows us to explore complex dynamical interactions within such physical systems, inconceivable a few years ago, it also results in grand challenges regarding the data visualization and analytics process. We present STRIELAD, a scalable weather analytics toolkit, which allows for interactive exploration and real-time visualization of such large scale datasets. It combines parallel and distributed feature extraction using high-performance computing resources with smart level-of-detail rendering methods to assure interactivity during the complete analysis process.

研究动机与目标

• 由于数据量增长，弥合仿真数据生成与分析能力之间日益扩大的差距。
• 为大型时变天气仿真提供一个交互式、实时的可视化环境。
• 实现高效的子体积选择、布尔运算和基于着色器的样式化，以便进行表达式探索。
• 将并行/分布式处理与细节层次渲染结合，以保持交互性。
• 在一个 2.9 TB 天气仿真数据集以及地形和卫星来源的地理空间数据上演示该方法。

提出的方法

• 前后端架构，其中前端处理实时渲染与交互，后端在 HPC 集群上执行特征提取。
• 预处理通过将数据分割为叶子节点并构建八叉树来生成加速结构，以支持快速查询。
• 并行与分布式特征提取采用主从模型，结合 Viracocha 处理和增强的调度器实现动态任务优先级排序。
• 子体积提取通过布尔运算完成；VTK 用于加载、裁剪、三角剖分和为八叉树节点计算法线。
• 细节层次渲染通过保持按相机距离优先的八叉树节点切片，随时间步或子体积变化来更新数据，从而逐步细化场景。
• A-pixel 缓冲策略（A-Buffer）将每个片元的子体积 ID 存储，并使用用户定义的着色函数来计算颜色、单独的透明度函数用于正确的合成。

Figure 1: Distributed visualization setup: The frontend determines nodes for parallel processing. The backend executes the feature extraction on a HPC cluster system and streams results back.

实验结果

研究问题

• RQ1 如何在不牺牲可视化保真度的前提下实现对大规模大气数据集的交互式实时探索？
• RQ2 一个分布式、基于重要性驱动的特征提取管线是否能在规模化子体积查询中提供毫秒级响应？
• RQ3 当可视化多 TB 天气仿真时，细节层次渲染和数据流对交互性的影响如何？
• RQ4 如何将子体积着色与语义着色整合，以揭示大气变量与地形/地理空间数据之间的相关性？

主要发现

• 通过细节层次渲染和分布式特征提取实现对大型天气数据集的实时交互式探索。
• 系统能够逐步更新场景，前台节点在几秒内接收数据，并在时间步或风场变化时实现平滑动画。
• 由标量阈值定义的子体积可以使用着色器编辑器进行着色和着色，支持对极值、趋势和相关性的复杂可视化查询。
• 基于八叉树的加速结构和缓存提升了重复查询的 I/O 与处理效率。
• 基于 A-Buffer 的渲染技术结合子体积 ID，支持伪体积外观及对相交体积的正确重叠处理。

Figure 2: The original dataset is partitioned into many small data blocks (left). Then, by combining eight blocks into one, an octree is generated (center). When rendering, a set of nodes (called the ‘cut’) is chosen so that blocks close to the virtual camera have a high resolution (right).