[论文解读] Low-cost singular value decomposition with optimal sensor placement

Ashton Hetherington, Soledad Le Clainche|arXiv (Cornell University)|Nov 16, 2023

Meteorological Phenomena and Simulations被引用 5

一句话总结

本文提出了一种低成本奇异值分解（lcSVD），这是一种计算高效的奇异值分解变体，可通过极少的数据点实现流体动力学数据集的高精度重建。通过集成最优传感器布置（OS-lcSVD），该方法将重建误差最小化，并与标准SVD相比，计算成本降低高达630倍，内存使用量减少37%，在湍流流场中使用最优布置的传感器时，误差低于0.5%。

ABSTRACT

This paper presents a new method capable of reconstructing datasets with great precision and very low computational cost using a novel variant of the singular value decomposition (SVD) algorithm that has been named low-cost SVD (lcSVD). This algorithm allows to reconstruct a dataset from a minimum amount of points, that can be selected randomly, equidistantly or can be calculated using the optimal sensor placement functionality that is also presented in this paper, which finds minimizing the reconstruction error to validate the calculated sensor positions. This method also allows to find the optimal number of sensors, aiding users in optimizing experimental data recollection. The method is tested in a series of datasets, which vary between experimental and numerical simulations, two- and three-dimensional data and laminar and turbulent flow, which have been used to demonstrate the capacity of this method based on its high reconstruction accuracy, robustness, and computational resource optimization. Maximum speed-up factors of 630 and memory reduction of 37% are found when compared to the application of standard SVD to the dataset. This method will be incorporated into ModelFLOWs-app's next version release.

研究动机与目标

• 解决标准SVD在处理大规模流体力学数据集时计算和内存成本过高的问题。
• 实现在极少、稀疏采样数据点（随机、等距或最优布置）下的高精度数据重建。
• 开发一种方法，以确定最小化重建误差所需的传感器数量及其最优位置。
• 在保持高重建保真度的同时，减轻实验和数值流体力学数据的计算负担。
• 将该方法集成至ModelFLOWs-app中，以扩大其在数据驱动流体力学研究中的应用范围。

提出的方法

• 提出低成本SVD（lcSVD），一种修改后的SVD算法，仅使用少量数据点即可重建数据集，显著降低计算负载。
• 引入最优传感器布置（OS-lcSVD），一种迭代算法，用于计算在给定传感器数量下最小化重建误差的传感器位置。
• 使用pysensors Python库初始化传感器布置方案，结合数据驱动优化与基于SVD的重建。
• 采用肘部法和误差容限阈值，估算实现所需重建精度的最优传感器数量。
• 将lcSVD和OS-lcSVD应用于多种数据集，包括二维和三维层流与湍流流场，以验证其在不同类型数据上的性能。
• 使用memory_profiler量化内存消耗，并比较SVD、lcSVD和OS-lcSVD的执行时间，以评估效率。

Figure 1: Optimal sensor placement based on low-cost SVD: sketch summarizing the methodology.

实验结果

研究问题

• RQ1 能否通过修改后的SVD算法在大幅降低计算成本的同时，实现对流体动力学数据集的高精度重建？
• RQ2 在不同流型下，lcSVD与标准SVD在速度、内存使用和重建误差方面的性能表现如何？
• RQ3 最优传感器布置能否显著减少实现高精度重建所需的传感器数量，而不会增加误差？
• RQ4 与lcSVD相比，使用OS-lcSVD时计算成本与重建精度之间的权衡如何？
• RQ5 lcSVD和OS-lcSVD在不同维度和流态的实验与数值数据集上具有多大程度的通用性？

主要发现

• 当使用等距采样重建湍流边界层数据时，lcSVD相较于标准SVD实现了最高达630倍的计算加速。
• 与标准SVD相比，OS-lcSVD将内存消耗降低了最多37%，在2D Cyl2600数据集中，内存使用量从19,438.3 MiB降至12,245.7 MiB。
• 在湍流流场数据集中，使用最少数量的最优布置传感器时，OS-lcSVD的重建误差保持在0.5%以下。
• 由于传感器位置的优化，OS-lcSVD的计算成本相比lcSVD最高增加五倍，但其更高的数据效率有效抵消了这一代价。
• 该方法成功以高保真度重建了二维和三维的层流与湍流流场数据集，展示了在多种数据类型下的鲁棒性。
• lcSVD和OS-lcSVD算法将被集成至ModelFLOWs-app的下一版中，显著提升其在数据驱动流体力学应用中的实用性。

Figure 2: Streamwise (left) and normal (right) velocities of a representative snapshot of the two-dimensional Re $=100$ cylinder dataset from Ref. [ 38 ] .