[論文レビュー] Learning to regularize with a variational autoencoder for hydrologic inverse analysis

Daniel O’Malley, John Golden+1 more|arXiv (Cornell University)|Jun 6, 2019

Reservoir Engineering and Simulation Methods被引用数 6

ひとこと要約

本稿では、変分オートエンコーダー（VAE）を用いて、無条件の実現から複雑なパラメータ構造を学習する、水文逆問題のための新しい正則化フレームワーク、RegAEを提案する。無条件のパラメータフィールド上でVAEを訓練することで、次元削減が実現され、低次元の潜在空間における効率的で構造的な正則化が可能となり、随伴法を必要とせずに計算効率と解の品質が著しく向上する。

ABSTRACT

Inverse problems often involve matching observational data using a physical model that takes a large number of parameters as input. These problems tend to be under-constrained and require regularization to impose additional structure on the solution in parameter space. A central difficulty in regularization is turning a complex conceptual model of this additional structure into a functional mathematical form to be used in the inverse analysis. In this work we propose a method of regularization involving a machine learning technique known as a variational autoencoder (VAE). The VAE is trained to map a low-dimensional set of latent variables with a simple structure to the high-dimensional parameter space that has a complex structure. We train a VAE on unconditioned realizations of the parameters for a hydrological inverse problem. These unconditioned realizations neither rely on the observational data used to perform the inverse analysis nor require any forward runs of the physical model, thus making the computational cost of generating the training data minimal. The central benefit of this approach is that regularization is then performed on the latent variables from the VAE, which can be regularized simply. A second benefit of this approach is that the VAE reduces the number of variables in the optimization problem, thus making gradient-based optimization more computationally efficient when adjoint methods are unavailable. After performing regularization and optimization on the latent variables, the VAE then decodes the problem back to the original parameter space. Our approach constitutes a novel framework for regularization and optimization, readily applicable to a wide range of inverse problems. We call the approach RegAE.

研究の動機と目的

• 高次元で空間的に不均一なパラメータが原因で解が不適切になる地下水水文における逆問題の困難さに対処すること。
• 観測データを用いずに、無条件の実現から複雑なパラメータ構造を学習することで、解析的正則化項を導出するのではなく、正則化を自動化・簡素化すること。
• 最適化のための高次元パラメータ空間を低次元の潜在空間に投影することで、計算コストを低減すること。
• 随伴法が利用できないか不実用的なモデルにおいても、効率的な逆問題解析を可能にすること。
• 地球科学分野の多様な逆問題に適用可能な汎用的で教師なしの機械学習フレームワークを提供すること。

提案手法

• 透水係数フィールドの無条件実現に変分オートエンコーダー（VAE）を訓練し、元のパラメータ空間の構造的複雑性を保持する低次元の潜在空間を学習すること。
• 訓練済みのVAEを用いて、高次元パラメータフィールドを単純で近似的に正規分布に従う低次元の潜在ベクトル空間に符号化すること。
• データ不適合項と正則化項を潜在空間で組み合わせた目的関数を最小化することで逆問題解析を実行し、勾配に基づく最適化を効率的に行うこと。
• VAEのデコーダーを用いて最適化された潜在ベクトルを元の高次元パラメータ空間に復号し、最終的な解を取得すること。
• VAEが学習した構造を活用することで、明示的な解析的正則化項を必要とせずに解を暗黙的に正則化すること。
• 潜在空間の次元削減により、随伴法が利用できない場合でも最適化が可能となり、モデル実行回数を約400回から約200回に削減することで計算コストを低減すること。

実験結果

リサーチクエスチョン

• RQ1 観測データを用いずに、変分オートエンコーダーが高次元水文パラメータフィールド内の複雑で整合性のある構造を効果的に学習し符号化できるか。
• RQ2 潜在空間におけるVAEによる正則化は、従来のチホノフ正則化や地球統計的正則化と比較して、解の精度と計算コストの面でどのように異なるか。
• RQ3 VAEによる次元削減が、随伴法が利用できない場合に勾配ベースの逆問題最適化の効率をどの程度向上させるか。
• RQ4 VAEベースの正則化フレームワークは、明確な透水係数ゾーンなど、複雑で滑らかでないパラメータ構造を有する逆問題に適用可能か。
• RQ5 潜在次元を変化させた場合、解の品質と計算効率のトレードオフにどのような影響が生じるか。

主な発見

• RegAE手法は、無条件の実現から複雑なパラメータ構造を学習し、明示的な解析的正則化項を必要とせずに効果的な正則化を実現した。
• 無条件の実現にVAEを訓練することで、前方モデルの実行や観測データの必要がなくなり、トレーニングデータ生成コストが著しく削減された。
• パラメータ数を400から200に削減し、計算コストを顕著に低減したが、解の品質は維持または向上した。
• 精度と効率のバランスが良く、潜在次元が200を超えると解の品質の向上がほとんど見られなくなった。
• 低次元の潜在空間の利用により、随伴法が利用できない場合でも勾配ベースの最適化が効率的に行えるようになり、FEHM や PFLOTRAN などの複雑なシミュレーションコードにも適用可能となった。
• このフレームワークは汎用的であり、畳み込みネットワークや知覚的損失関数などのより高度なアーキテクチャを組み込むことで、パラメータフィールドのエッジの鋭さを向上させることも可能である。