[논문 리뷰] Unscented Kalman Inversion.

Daniel Zhengyu Huang, Tapio Schneider외 1명|arXiv (Cornell University)|2021. 02. 02.

Reservoir Engineering and Simulation Methods참고 문헌 90인용 수 6

한 줄 요약

이 논문은 블랙박스 정방향 모델을 위한 비도함수 방법인 유닉스드 칼만 역행렬화(UKI)를 소개한다. 유닉스드 변환을 활용해 매개변수 분포를 근사함으로써 UKI는 비미분 가능 환경에서의 확장 칼만 역행렬화(ExKI)의 한계를 극복하고, 비용이 많이 드는 정방향 모델을 가진 중간 차원의 매개변수 공간에서 엔semble 칼만 역행렬화(EKI)보다 뛰어난 성능을 보인다.

ABSTRACT

A useful approach to solve inverse problems is to pair the parameter-to-data map with a stochastic dynamical system for the parameter, and then employ techniques from filtering to estimate the parameter given the data. Three classical approaches to filtering of nonlinear systems are the extended, ensemble and unscented Kalman filters. The extended Kalman inversion (ExKI) is impractical when the forward map is not readily differentiable and given as a black box, and also for high dimensional parameter spaces because of the need to propagate large covariance matrices. Ensemble Kalman inversion (EKI) has emerged as a useful tool which overcomes both of these issues: it is derivative free and works with a low-rank covariance approximation formed from the ensemble. In this paper, we demonstrate that unscented Kalman methods also provide an effective tool for derivative-free inversion in the setting of black-box forward models, introducing unscented Kalman inversion (UKI). Theoretical analysis is provided for linear inverse problems, and a smoothing property of the data mis-fit under the unscented transform is explained. We provide numerical experiments, including various applications: learning subsurface flow permeability parameters; learning the structure damage field; learning the Navier-Stokes initial condition; and learning subgrid-scale parameters in a general circulation model. The theory and experiments show that the UKI outperforms the EKI on parameter learning problems with moderate numbers of parameters and outperforms the ExKI on problems where the forward model is not readily differentiable, or where the derivative is very sensitive. In particular, UKI based methods are of particular value for parameter estimation problems in which the number of parameters is moderate but the forward model is expensive and provided as a black box which is impractical to differentiate.

연구 동기 및 목표

• 비미분 가능하고 고차원 매개변수 공간에서의 확장 칼만 역행렬화(ExKI)의 한계를 해결하기 위해.
• 기울기 정보가 필요 없이 정확도를 유지하는 ExKI의 비도함수 대안을 개발하기 위해.
• 중간 차원 매개변수 공간에서의 문제에 대해 엔셈블 칼만 역행렬화(EKI)보다 매개변수 추정 성능을 향상시키기 위해.
• 비용이 많이 들고 블랙박스인 정방향 모델을 포함하는 역행 문제에 대해 이론적으로 타당하고 수치적으로 안정된 방법을 제공하기 위해.
• 서브세분 유동, 구조적 손상, 유체역학, 기후 모델링을 포함한 다양한 적용 분야에서 UKI의 효과성을 입증하기 위해.

제안 방법

• UKI는 매개변수 분포의 평균과 공분산를 캡처하기 위해 유닉스드 변환을 사용하여 시그마 포인트를 생성하며, 이는 분석적 자코비안이 필요 없도록 한다.
• 이 방법은 이러한 시그마 포인트를 정방향 모델을 통해 전파하여 예측된 데이터 분포를 계산함으로써 효율적인 매개변수 업데이트를 가능하게 한다.
• 수치적 안정성을 유지하고 공분산 행렬의 역행렬 계산 문제를 피하기 위해 UKI는 제곱근 유닉스드 칼만 필터 프레임워크를 사용한다.
• 알고리즘은 데이터 오차와 유닉스드 변환 통계를 기반으로 한 칼만 유사 보정을 반복적으로 적용하여 매개변수 앙상블을 업데이트한다.
• 선형 역행 문제에서 수렴 행동을 정당화하기 위해 유닉스드 변환 하에서 데이터 오차의 스무딩 성질을 이론적으로 분석한다.
• 이 방법은 나비에-스토크스 초기 조건 복원 및 기후 모델의 서브그리드 스케일 매개변수 학습을 포함한 시뮬레이션 및 실제 문제에 적용된다.

실험 결과

연구 질문

• RQ1 정방향 모델이 블랙박스이자 비미분 가능할 때, 유닉스드 변환이 역행 문제에 효과적으로 적용될 수 있는가?
• RQ2 중간 차원 매개변수 추정에서 UKI는 EKI에 비해 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ3 정방향 모델의 도함수가 이용 불가능하거나 매우 민감한 상황에서 UKI는 ExKI를 초월하는가?
• RQ4 선형 역행 문제에서 UKI 성능을 뒷받침하는 이론적 성질, 예를 들어 데이터 오차의 스무딩 효과는 무엇인가?
• RQ5 기존의 필터 기반 역행 문제 방법에 비해 UKI는 어떤 실용적 적용 분야에서 더 뛰어난 강건성과 효율성을 보여주는가?

주요 결과

• 정방향 모델이 계산적으로 비용이 많이 들 때, UKI는 매개변수 수가 중간 정도인 학습 문제에서 EKI를 능가한다.
• 정방향 모델이 쉽게 도함수를 구할 수 없거나 수치적으로 불안정한 경우 UKI는 ExKI보다 더 높은 수렴 정확도를 달성한다.
• 이론적 분석을 통해 유닉스드 변환 덕분에 데이터 오차에 스무딩 효과가 있음을 확인하였으며, 이는 안정적이고 강건한 최적화에 기여한다.
• 수치 실험 결과 UKI는 지하 유동의 투과도, 구조적 손상 분포, 나비에-스토크스 초기 조건, 일반 순환 모델의 서브그리드 스케일 매개변수를 성공적으로 학습하는 데 성공하였다.
• EKI의 낮은 랭크 근사가 덜 효과적이 되고 ExKI가 도함수 접근성이 없어 실패하는 고차원이지만 매개변수 수가 중간인 설정에서 UKI는 뛰어난 성능을 보였다.
• 특히 도함수 계산이 비현실적인 비용이 많이 드는 실제 응용 분야에서 UKI는 매우 유용하다.