[论文解读] Learning to regularize with a variational autoencoder for hydrologic inverse analysis

Daniel O’Malley, John Golden+1 more|arXiv (Cornell University)|Jun 6, 2019

Reservoir Engineering and Simulation Methods被引用 6

一句话总结

该论文提出RegAE，一种基于变分自编码器（VAE）的新型正则化框架，用于地下水逆问题。通过在无条件的真实参数场数据上训练VAE，该方法能够从无条件的实现实例中学习复杂的参数结构，实现降维，并在低维潜在空间中实现高效、结构化的正则化，显著提升计算效率和解的质量，且无需使用伴随方法。

ABSTRACT

Inverse problems often involve matching observational data using a physical model that takes a large number of parameters as input. These problems tend to be under-constrained and require regularization to impose additional structure on the solution in parameter space. A central difficulty in regularization is turning a complex conceptual model of this additional structure into a functional mathematical form to be used in the inverse analysis. In this work we propose a method of regularization involving a machine learning technique known as a variational autoencoder (VAE). The VAE is trained to map a low-dimensional set of latent variables with a simple structure to the high-dimensional parameter space that has a complex structure. We train a VAE on unconditioned realizations of the parameters for a hydrological inverse problem. These unconditioned realizations neither rely on the observational data used to perform the inverse analysis nor require any forward runs of the physical model, thus making the computational cost of generating the training data minimal. The central benefit of this approach is that regularization is then performed on the latent variables from the VAE, which can be regularized simply. A second benefit of this approach is that the VAE reduces the number of variables in the optimization problem, thus making gradient-based optimization more computationally efficient when adjoint methods are unavailable. After performing regularization and optimization on the latent variables, the VAE then decodes the problem back to the original parameter space. Our approach constitutes a novel framework for regularization and optimization, readily applicable to a wide range of inverse problems. We call the approach RegAE.

研究动机与目标

• 解决地下水渗流中高维、空间异质性参数导致的不适定逆问题挑战。
• 通过从无条件实现实例中学习复杂参数结构，而非推导解析正则化项，实现正则化的自动化与简化。
• 通过将高维参数空间投影到低维潜在空间来降低计算成本。
• 在伴随方法不可用或不切实际的模型中实现高效的逆分析。
• 提供一种可推广的、无监督的机器学习框架，适用于地球科学中广泛的逆问题。

提出的方法

• 在水力传导率场的无条件实现实例上训练变分自编码器（VAE），以学习保留原始参数空间结构复杂性的低维潜在空间。
• 使用训练好的VAE将高维参数场编码为具有简单、近似正态分布的低维潜在向量空间。
• 通过最小化结合数据拟合与潜在空间正则化的目标函数进行逆分析，实现高效的基于梯度的优化。
• 使用VAE解码器将优化后的潜在向量解码回原始高维参数空间，以获得最终解。
• 利用VAE学习到的结构隐式正则化解，而无需显式解析正则化项。
• 通过潜在空间的降维，即使在伴随方法不可用时也能使优化可行，将计算成本从约400次模型运行降低至约200次。

实验结果

研究问题

• RQ1 变分自编码器能否在不使用观测数据的情况下，有效学习并编码高维水文参数场中的复杂、相干结构？
• RQ2 在潜在空间中通过VAE进行正则化，与传统的Tikhonov或地统计正则化相比，在解的精度和计算成本方面表现如何？
• RQ3 通过VAE实现的降维在伴随方法不可用时，对基于梯度的逆优化效率提升程度如何？
• RQ4 基于VAE的正则化框架能否应用于具有复杂、非光滑参数结构（如明显不同的水力传导率区域）的逆问题？
• RQ5 潜在维度的变化对解的质量与计算效率之间的权衡有何影响？

主要发现

• RegAE方法成功地从无条件实现实例中学习复杂参数结构，实现有效正则化，且无需显式解析正则化项。
• 在无条件实现实例上训练VAE避免了正向模型运行或观测数据的需求，极大降低了数据生成成本。
• 该方法将参数数量从400降低至200，显著降低计算成本，同时保持或提升了解的质量。
• 该方法在精度与效率之间实现了良好平衡，当潜在维度超过200后，解的质量提升已非常有限。
• 低维潜在空间的使用使得即使在伴随方法不可用时，也能实现高效的基于梯度的优化，使其适用于复杂模拟代码（如FEHM和PFLOTRAN）。
• 该框架具有可推广性，可通过引入更先进的架构（如卷积网络或感知损失函数）进一步提升参数场中边界的锐度。