[论文解读] An In Situ Approach for Approximating Complex Computer Simulations and Identifying Important Time Steps

Kary Myers, Earl Lawrence+4 more|arXiv (Cornell University)|Sep 2, 2014

Advanced Data Storage Technologies参考文献 11被引用 4

一句话总结

本文提出一种原位、在线方法，通过分段线性拟合实时近似复杂模拟，识别关键时间步以减少数据传输和存储需求，同时支持高效后处理与重建。该方法通过将分析嵌入模拟工作流，实现对百亿亿次级模拟的可扩展分析。

ABSTRACT

As computer simulations continue to grow in size and complexity, they provide a particularly challenging example of big data. Many application areas are moving toward exascale (i.e. 1018 FLOPS, or FLoating-point Operations Per Second). Analyzing these simulations is difficult because their output may exceed both the storage capacity and the bandwidth required for transfer to storage. One approach is to embed some level of analysis in the simulation while the simulation is running, often called in situ analysis. This paper describes an online in situ method for approximating a complex simulation using piecewise linear fitting. Our immediate goal is to identify important time steps of the simulation. We then use those time steps and the linear fits both to significantly reduce the data transfer and storage requirements and to facilitate post processing and reconstruction of the simulation. We illustrate the method using an example that tracks the development of evolving simulation behavior by monitoring various aspects of the simulation over time.

研究动机与目标

• 为应对日益复杂的计算机模拟产生的海量数据输出，特别是其向百亿亿次计算规模扩展的挑战。
• 缓解模拟输出超出可用资源导致的存储与带宽瓶颈。
• 在模拟执行过程中动态识别模拟中的重要时间步，以指导数据压缩与分析。
• 仅通过识别的关键时间步及其线性近似，实现高效后处理与模拟数据重建。
• 开发一种可扩展的、在线原位分析方法，直接集成至模拟流水线中。

提出的方法

• 该方法对模拟数据流实时应用分段线性拟合，近似时间区间内的模拟行为。
• 基于与线性趋势的偏差，动态识别模拟行为发生显著变化的关键时间步。
• 该方法采用在线学习，随着新数据的到达持续更新线性拟合，确保准确性和适应性。
• 仅保留关键时间步及其对应的线性拟合结果用于存储或传输，大幅降低数据量。
• 通过使用拟合的线性模型在关键步骤之间插值，支持模拟数据的重建。

实验结果

研究问题

• RQ1 如何识别复杂模拟中最重要的时间步，以减少数据传输与存储需求？
• RQ2 分段线性拟合在最小化数据损失的前提下，近似模拟行为的有效性如何？
• RQ3 使用在线线性拟合的原位分析能否在后处理与重建中保持足够的精度？
• RQ4 该方法在模拟复杂度与数据量增加时的可扩展性如何？
• RQ5 该方法对百亿亿次级模拟中的带宽与存储开销有何影响？

主要发现

• 该方法成功识别出模拟行为发生显著变化的关键时间步，实现仅保留极少数据量的高精度近似。
• 通过仅保留关键时间步及其线性拟合结果，数据量显著减少，缓解了存储与传输压力。
• 利用拟合分段重建的模拟数据与原始数据高度一致，表明近似具有高保真度。
• 该方法的在线原位特性允许实时分析，无需存储完整的模拟输出。
• 该方法具有可扩展性，适用于传统数据输出处理不可行的百亿亿次级模拟。
• 该技术通过仅聚焦于最具信息量的时间区间，实现了高效的后处理。