[论文解读] Dynamic Upsampling of Smoke through Dictionary-based Learning

Kai Bai, Wei Li+2 more|arXiv (Cornell University)|Oct 21, 2019

Computer Graphics and Visualization Techniques参考文献 66被引用 4

一句话总结

本文提出一种基于词典的深度学习方法，用于对低分辨率烟雾模拟进行动态超分，生成高分辨率、物理上合理的动画。通过从粗粒度-细粒度模拟配对中学习局部速度块的稀疏表示，该方法比过程性噪声或标准神经网络更准确地合成真实的细尺度涡流和流动细节，实现接近真实感的动画，速度比直接数值模拟快达100倍。

ABSTRACT

Simulating turbulent smoke flows is computationally intensive due to their intrinsic multiscale behavior, thus requiring relatively high resolution grids to fully capture their complexity. For iterative editing or simply faster generation of smoke flows, dynamic upsampling of an input low-resolution numerical simulation is an attractive, yet currently unattainable goal. In this paper, we propose a novel dictionary-based learning approach to the dynamic upsampling of smoke flows. For each frame of an input coarse animation, we seek a sparse representation of small, local velocity patches of the flow based on an over-complete dictionary, and use the resulting sparse coefficients to generate a high-resolution smoke animation sequence. We propose a novel dictionary-based neural network which learns both a fast evaluation of sparse patch encoding and a dictionary of corresponding coarse and fine patches from a sequence of example simulations computed with any numerical solver. Our upsampling network then injects into coarse input sequences physics-driven fine details, unlike most previous approaches that only employed fast procedural models to add high frequency to the input. We present a variety of upsampling results for smoke flows and offer comparisons to their corresponding high-resolution simulations to demonstrate the effectiveness of our approach.

研究动机与目标

• 为高效地从低分辨率模拟生成高分辨率、逼真的烟雾动画，避免昂贵的完整数值求解。
• 克服先前方法依赖过程性噪声或在细尺度细节合成中缺乏物理保真度的局限性。
• 开发一种可在多种烟雾流动情境下泛化的技术，包括少量训练样本下的合成、以及对原始流动的小扰动重模拟。
• 通过用从粗输入学习的超分替代昂贵的高分辨率模拟，实现快速、迭代的动画设计。

提出的方法

• 该方法采用多尺度、时空编码的词典学习框架，从粗粒度与细粒度模拟配对中表示局部速度块。
• 训练一种新型神经网络，利用对应细尺度残差的过完备词典，对粗输入块执行稀疏编码。
• 通过词典块残差的稀疏线性组合，学习重建高分辨率速度场。
• 该方法利用相空间编码建模局部流动结构的时间演化，提升帧间一致性。
• 训练基于任意数值求解器生成的粗粒度-细粒度模拟配对，实现对不同流动构型的泛化。
• 通过逐块合成高分辨率输出，再融合为一致的速度网格，词典设计确保了散度自由特性。

实验结果

研究问题

• RQ1 基于词典的学习方法能否有效从低分辨率输入中预测湍流烟雾流动中的细尺度涡流结构？
• RQ2 该方法在多样化动画情境下的泛化能力如何，包括通用合成、受限合成和重模拟？
• RQ3 与基于过程性噪声的超分相比，从粗粒度-细粒度模拟配对中学习是否能获得更物理准确的结果？
• RQ4 当应用于几何结构差异显著或训练数据中不存在的高湍流流动时，该方法存在哪些局限性？

主要发现

• 所提方法生成的高分辨率烟雾动画在视觉上与真实细粒度数值模拟结果高度一致，即使输入来自与训练数据不同的流动构型。
• 在重模拟任务中，该方法能以高保真度成功重现原始流动动力学，对小扰动的响应优于基线方法，更具真实感。
• 与直接高分辨率模拟相比，该方法实现了高达100倍的速度提升，同时保持接近真实值的视觉质量。
• 当在多样化但有限的模拟配对上进行训练时，该方法在不同流动类型（包括单物体、多物体及涡环碰撞）中均表现出良好的泛化能力。
• 当粗输入为细粒度模拟的下采样版本时，该方法在超分辨率任务中优于tempoGAN，展现出更优的预测精度。
• 尽管在高度湍流或几何差异显著的流动中存在局限性，该方法在大多数实际场景中仍能保持近似不可压缩性，避免显著视觉伪影。