[논문 리뷰] Learning to regularize with a variational autoencoder for hydrologic inverse analysis

Daniel O’Malley, John Golden외 1명|arXiv (Cornell University)|2019. 06. 06.

Reservoir Engineering and Simulation Methods인용 수 6

한 줄 요약

이 논문은 변분 오토에인코더(VAE)를 사용하여 조건이 없는 실현값에서 복잡한 매개변수 구조를 학습함으로써 수문학적 역문제에 대한 새로운 정규화 프레임워크인 RegAE를 제안한다. 조건이 없는 매개변수 분포에 VAE를 훈련시켜 차원 축소를 수행하고, 저차원 잠재공간에서 효율적이고 구조적인 정규화를 가능하게 하여, 수반 방법을 필요로 하지 않고도 계산 효율성과 해의 품질을 크게 향상시킨다.

ABSTRACT

Inverse problems often involve matching observational data using a physical model that takes a large number of parameters as input. These problems tend to be under-constrained and require regularization to impose additional structure on the solution in parameter space. A central difficulty in regularization is turning a complex conceptual model of this additional structure into a functional mathematical form to be used in the inverse analysis. In this work we propose a method of regularization involving a machine learning technique known as a variational autoencoder (VAE). The VAE is trained to map a low-dimensional set of latent variables with a simple structure to the high-dimensional parameter space that has a complex structure. We train a VAE on unconditioned realizations of the parameters for a hydrological inverse problem. These unconditioned realizations neither rely on the observational data used to perform the inverse analysis nor require any forward runs of the physical model, thus making the computational cost of generating the training data minimal. The central benefit of this approach is that regularization is then performed on the latent variables from the VAE, which can be regularized simply. A second benefit of this approach is that the VAE reduces the number of variables in the optimization problem, thus making gradient-based optimization more computationally efficient when adjoint methods are unavailable. After performing regularization and optimization on the latent variables, the VAE then decodes the problem back to the original parameter space. Our approach constitutes a novel framework for regularization and optimization, readily applicable to a wide range of inverse problems. We call the approach RegAE.

연구 동기 및 목표

• 고차원적이고 공간적으로 비균일한 매개변수가 존재하는 지하수역학에서 과도하게 정의되지 않은 역문제에 대처하기 위해.
• 관측 데이터를 사용하지 않고 분석적 정규화 항을 유도하는 대신, 조건이 없는 실현값에서 복잡한 매개변수 구조를 학습함으로써 정규화를 자동화하고 단순화하기 위해.
• 최적화를 위해 고차원 매개변수 공간을 저차원 잠재공간으로 투영함으로써 계산 비용을 감소시키기 위해.
• 수반 방법이 이용 불가능하거나 비실용적인 모델에서 효율적인 역분석을 가능하게 하기 위해.
• 지구과학 분야의 다양한 역문제에 적용 가능한 일반화 가능한 비지도 기계학습 프레임워크를 제공하기 위해.

제안 방법

• 수리적 전도도 분포의 조건이 없는 실현값에 대해 변분 오토에인코더(VAE)를 훈련시어 원래의 매개변수 공간의 구조적 복잡성을 유지하는 저차원 잠재공간을 학습한다.
• 훈련된 VAE를 사용하여 고차원 매개변수 분포를 단순하고 약간 정규분포에 가까운 저차원 잠재벡터 공간으로 인코딩한다.
• 데이터 불일치와 정규화를 잠재공간에서 조합한 목적함수를 최소화함으로써 역분석을 수행하며, 이는 효율적인 기울기 기반 최적화를 가능하게 한다.
• VAE 디코더를 사용하여 최적화된 잠재벡터를 원래의 고차원 매개변수 공간으로 디코딩하여 최종 해를 도출한다.
• VAE가 학습한 구조를 활용하여 분석해의 정규화를 암묵적으로 수행하며, 명시적인 분석적 정규화 항이 필요로 하지 않는다.
• 잠재공간의 차원 축소를 통해 수반 방법이 이용 불가능한 경우에도 최적화가 가능하게 하여 계산 비용을 약 400회에서 약 200회로 감소시킨다.

실험 결과

연구 질문

• RQ1 관측 데이터를 사용하지 않고도 변분 오토에인코더가 고차원 수문학적 매개변수 분포에서 복잡하고 일관된 구조를 효과적으로 학습하고 인코딩할 수 있는가?
• RQ2 잠재공간에서 VAE를 통한 정규화는 전통적인 티코노프 또는 지구통계학적 정규화와 비교해 정확도와 계산 비용 측면에서 어떻게 다른가?
• RQ3 VAE를 통한 차원 축소가 수반 방법이 이용 불가능한 상황에서 기울기 기반 역최적화의 효율성을 어느 정도 향상시키는가?
• RQ4 복잡하고 부드럽지 않은 매개변수 구조(예: 고유한 수리 전도도 영역)를 가진 역문제에 대해 VAE 기반 정규화 프레임워크를 적용할 수 있는가?
• RQ5 잠재 차원을 변화시켰을 때 해의 품질과 계산 효율성 사이의 상호보완적 관계는 어떻게 변하는가?

주요 결과

• RegAE 방법은 조건이 없는 실현값에서 복잡한 매개변수 구조를 효과적으로 학습하여, 명시적인 분석적 정규화 항이 없이도 효과적인 정규화를 가능하게 한다.
• 조건이 없는 실현값에 VAE를 훈련시킴으로써 정방 모델 실행이나 관측 데이터가 필요로 하지 않아, 훈련 데이터 생성 비용을 크게 감소시킨다.
• 매개변수 수를 400개에서 200개로 줄여 계산 비용을 크게 감소시키면서도 해의 품질을 유지하거나 향상시킨다.
• 정확도와 효율성 사이의 균형을 잘 이루며, 잠재 차원이 200을 초과하면 해의 품질 향상에 거의 기여하지 않는다.
• 저차원 잠재공간을 사용함으로써 수반 방법이 이용 불가능한 경우에도 효율적인 기울기 기반 최적화가 가능해져, FEHM 및 PFLOTRAN과 같은 복잡한 시뮬레이션 코드에 적용 가능하다.
• 이 프레임워크는 일반화 가능하며, 컨볼루션 네트워크나 인지적 손실 함수와 같은 더 고급 아키텍처를 통합하여 매개변수 분포의 경계 선명함을 향상시킬 수 있다.