[논문 리뷰] Physics-Informed Machine Learning with Conditional Karhunen-Loève Expansions

Alexandre M. Tartakovsky, David A. Barajas‐Solano외 1명|arXiv (Cornell University)|2019. 12. 04.

Model Reduction and Neural Networks참고 문헌 45인용 수 4

한 줄 요약

이 논문은 희소 측정값에서 공간적으로 비균일한 매개변수와 상태를 복원하기 위해 조건부 카르운네-로브 에르고드람 전개(cKLEs)를 사용하는 물리 기반 기계학습 방법인 PICKLE을 소개한다. 관측치에 조건을 붙이고 PDE 잔차 노름을 최소화함으로써 PICKLE는 특히 불연속적이고 거친 필드에 대해 MAP 및 PINN 방법보다 더 높은 정확도를 달성한다.

ABSTRACT

We present a new physics-informed machine learning approach for the inversion of PDE models with heterogeneous parameters. In our approach, the space-dependent partially-observed parameters and states are approximated via Karhunen-Loève expansions (KLEs). Each of these KLEs is then conditioned on their corresponding measurements, resulting in low-dimensional models of the parameters and states that resolve observed data. Finally, the coefficients of the KLEs are estimated by minimizing the norm of the residual of the PDE model evaluated at a finite set of points in the computational domain, ensuring that the reconstructed parameters and states are consistent with both the observations and the PDE model to an arbitrary level of accuracy. In our approach, KLEs are constructed using the eigendecomposition of covariance models of spatial variability. For the model parameters, we employ a parameterized covariance model calibrated on parameter observations; for the model states, the covariance is estimated from a number of forward simulations of the PDE model corresponding to realizations of the parameters drawn from their KLE. We apply the proposed approach to identifying heterogeneous log-diffusion coefficients in diffusion equations from spatially sparse measurements of the log-diffusion coefficient and the solution of the diffusion equation. We find that the proposed approach compares favorably against state-of-the-art point estimates such as maximum a posteriori estimation and physics-informed neural networks.

연구 동기 및 목표

• 희소하고 노이즈가 있는 측정값으로부터 PDE 모델 내 공간에 따라 변화하는 매개변수와 상태를 추정하는 역문제를 해결한다.
• 저차원이고 데이터에 일치하는 매개변수화를 통해 PDE 제약 조건이 있는 역문제의 불안정성을 극복한다.
• 관측된 데이터와 기초가 되는 PDE 모델에 대해 임의의 정밀도로 일致하는 방법을 개발한다.
• 불연속성 등 복잡한 공간 변동성을 보이는 필드를 복원하는 데 있어 기존 방법들인 MAP 및 물리 기반 신경망(PINNs)을 향상시킨다.
• 비정규 분포를 가진 필드를 포함하여 그 기초 통계 분포가 비록 정규 분포가 아니더라도 매개변수와 상태의 견고한 추정을 가능하게 한다.

제안 방법

• 공분산 연산자로부터 유도된 고유함수들의 가중합으로 표현되는 랜덤 필드를 나타내는 카르운네-로브 에르고드람 전개(KLEs)를 사용하여 공간적으로 비균일한 매개변수와 상태를 근사한다.
• 조건부 가우시안 프로세스를 통해 KLEs를 희소 측정치에 조건화함으로써 관측치를 정확히 반영하는 cKLEs를 도출한다.
• 관측된 매개변수 데이터에 기반하여 매개변수화된 커널(예: 마테른)을 사용하여 매개변수 공분산 모델을 구축한다.
• cKLE 표현식으로부터 샘플링된 매개변수의 실현값을 사용하여 정방향 PDE 시뮬레이션을 통해 상태 공분산을 추정한다.
• 유한 개의 콜로케이션 점에서 평가된 PDE 잔차의 L2 노름을 최소화함으로써 cKLE 계수를 최적화하여 PDE 일致성을 강제한다.
• 관측 오차 공분산에 의해 가중된 데이터 불일치와 PDE 잔차 최소화를 조합한 정규화된 최적화 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 표준 MAP 추정과 비교하여 cKLE 기반 매개변수화는 희소하고 노이즈가 있는 측정값을 가진 PDE 역문제에서 복원 정확도를 향상시키는가?
• RQ2 PICKLE 방법은 정규 분포 가정을 위반하는 불연속적이거나 거친 공간 필드를 복원하는 데 어떻게 성능을 발휘하는가?
• RQ3 제한된 데이터에서 공간적으로 상관관계가 있는 필드를 포괄하는 데 있어 cKLE 표현은 딥 뉴럴 네트워크(PINNs 등)보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 PICKLE의 정확도는 매개변수 및 상태 측정치의 품질과 수량에 얼마나 민감한가?
• RQ5 기초 필드가 정규 분포가 아니더라도 cKLE는 불연속적 확산 계수나 유계 영역 해와 같은 비정규 필드를 효과적으로 모델링할 수 있는가?

주요 결과

• PICKLE는 불연속적 로그-확산 계수 추정에서 상대적 ℓ₁ 오차를 0.179로 줄였으며, 이는 MAP 추정의 오차 0.380보다 두 배 이상 낮은 수준이다.
• 연속적이고 거친 로그-확산 필드의 경우, PICKLE는 최대사후확률(MAP) 추정과 물리 기반 신경망(PINNs) 모두보다 더 높은 정확도를 달성한다.
• 이 방법은 정규 분포 가정이 필요 없이도 비정규 통계를 가지는 필드, 즉 불연속적 전도도 필드와 유계 영역 해를 성공적으로 복원한다.
• PICKLE의 정확도는 추정된 매개변수 공분산의 정밀도에 의존하며, 측정치가 많을수록 향상된다.
• 유사한 시스템에서 매개변수 공분산을 추정하기 위해 전이 학습을 사용할 수 있으며, 이는 유사한 공간 변동성을 가지는 도메인 간 일반화를 가능하게 한다.
• 특히 데이터 부족 상황에서 물리적 일치성과 구조적 특성을 내재하고 있기 때문에, 신경망보다 cKLEs가 공간 필드의 더 효과적인 저차원 표현을 제공한다.