[论文解读] Bi-fidelity Variational Auto-encoder for Uncertainty Quantification

Nuojin Cheng, Osman Asif Malik+3 more|arXiv (Cornell University)|May 25, 2023

Probabilistic and Robust Engineering Design参考文献 51被引用 4

一句话总结

该论文提出了一种双保真度变分自编码器（BF-VAE），通过利用低保真度（LF）和高保真度（HF）数据，显著减少了在物理系统中进行精确不确定性量化（UQ）所需的HF样本数量。通过在潜在空间中集成双保真度自回归结构，并使用有限HF数据优化变分下界，BF-VAE在HF数据稀缺时相比仅使用HF数据的VAE展现出更优的统计精度，KID分数在HF样本数量较少时最高提升40%。

ABSTRACT

Quantifying the uncertainty of quantities of interest (QoIs) from physical systems is a primary objective in model validation. However, achieving this goal entails balancing the need for computational efficiency with the requirement for numerical accuracy. To address this trade-off, we propose a novel bi-fidelity formulation of variational auto-encoders (BF-VAE) designed to estimate the uncertainty associated with a QoI from low-fidelity (LF) and high-fidelity (HF) samples of the QoI. This model allows for the approximation of the statistics of the HF QoI by leveraging information derived from its LF counterpart. Specifically, we design a bi-fidelity auto-regressive model in the latent space that is integrated within the VAE's probabilistic encoder-decoder structure. An effective algorithm is proposed to maximize the variational lower bound of the HF log-likelihood in the presence of limited HF data, resulting in the synthesis of HF realizations with a reduced computational cost. Additionally, we introduce the concept of the bi-fidelity information bottleneck (BF-IB) to provide an information-theoretic interpretation of the proposed BF-VAE model. Our numerical results demonstrate that BF-VAE leads to considerably improved accuracy, as compared to a VAE trained using only HF data, when limited HF data is available.

研究动机与目标

• 解决不确定性量化（UQ）中的计算瓶颈问题，其中高保真度（HF）模拟成本高昂且样本稀少。
• 减少用于训练生成模型以准确估计品质指标（QoI）统计量的HF实现次数。
• 开发一种深度生成模型，实现从LF数据到HF数据的知识迁移，同时在潜在空间中保持统计保真度。
• 通过双保真度信息瓶颈（BF-IB）框架，为模型提供信息论基础。
• 证明所提出的BF-VAE在低数据场景下优于仅使用HF数据的VAE，尤其在HF数据有限时。

提出的方法

• BF-VAE采用概率编码器-解码器架构，其中LF和HF数据共享潜在空间，实现联合建模。
• 在潜在空间中引入双保真度自回归结构，以建模LF与HF表征之间的依赖关系。
• 通过结合LF和HF数据的混合损失函数，最大化HF对数似然的变分下界，即使HF样本有限亦可实现。
• 训练算法采用两阶段流程：首先在LF数据上进行预训练，然后通过联合微调HF数据以最小化重构误差和KL散度项。
• 通过双保真度信息瓶颈（BF-IB）框架提供信息论解释，量化潜在表征中保真度与压缩之间的权衡。
• 模型采用全连接神经网络，激活函数为GeLU，潜在空间维度为4维，使用Adam优化器训练，β超参数固定。

实验结果

研究问题

• RQ1 双保真度VAE架构是否能在减少所需高保真度模拟次数的同时，维持或提升不确定性量化中的统计精度？
• RQ2 低保真度数据的整合如何提升在有限高保真度数据上训练的VAE的泛化能力与样本质量？
• RQ3 潜在空间在低保真度与高保真度数据之间平衡保真度与压缩的理论信息论角色是什么？
• RQ4 当高保真度数据稀缺时，所提出的BF-VAE是否在分布相似性方面优于标准的仅使用HF数据的VAE？
• RQ5 潜在空间中双保真度自回归结构在多大程度上增强了模型生成逼真HF实现的能力？

主要发现

• 当HF实现数量较少时，BF-VAE在KID分数上显著优于仅使用HF数据的VAE，在n=10个HF样本时提升最高达40%。
• 在低HF样本数量（n < 100）时，BF-VAE在分布相似性方面持续优于HF-VAE，Kullback–Leibler散度（KID）测量结果表明其优势。
• 当使用400个LF样本时，模型将有效HF训练成本降低至约4.08个HF实现，归功于LF数据对训练目标的贡献。
• 当HF数据充足（n > 600）时，HF-VAE的性能超越BF-VAE，证实了多保真度模型在高数据场景下的预期行为。
• 可视化对比显示，BF-VAE生成的样本与真实HF分布高度一致，尤其在捕捉尾部分布和极端事件方面表现优异。
• 双保真度信息瓶颈（BF-IB）为模型从LF数据中提取相关且压缩的表征并指导HF分布建模的能力提供了理论依据。