[논문 리뷰] Inverse Problems and Data Assimilation

Daniel Sanz-Alonso, Andrew M. Stuart외 1명|arXiv (Cornell University)|2018. 10. 15.

Gaussian Processes and Bayesian Inference인용 수 9

한 줄 요약

이 논문은 불확실성 하에서의 매개변수 추정을 위한 베이지안 프레임워크를 강조하면서, 역문제와 자료 융합에 대한 종합적인 수학적 소개를 제공한다. 통계적 선형화와 도함수 근사 기법을 사용하여 고차원이고 잘 정의되지 않은 역문제를 효율적으로 해결함으로써 계산 비용을 감소시키는, 앙상블 기반 최적화 알고리즘—예를 들어 반복적 앙상블 칼만 필터 및 그 변종—을 제시한다.

ABSTRACT

We provide a clear and concise introduction to the subjects of inverse problems and data assimilation, and their inter-relations. The first part of our notes covers inverse problems; this refers to the study of how to estimate unknown model parameters from data. The second part of our notes covers data assimilation; this refers to a particular class of inverse problems in which the unknown parameter is the initial condition (and/or state) of a dynamical system, and the data comprises partial and noisy observations of the state. The third and final part of our notes describes the use of data assimilation methods to solve generic inverse problems by introducing an artificial algorithmic time. Our notes cover, among other topics, maximum a posteriori estimation, (stochastic) gradient descent, variational Bayes, Monte Carlo, importance sampling and Markov chain Monte Carlo for inverse problems; and 3DVAR, 4DVAR, extended and ensemble Kalman filters, and particle filters for data assimilation. Each of parts one and two starts with a chapter on the Bayesian formulation, in which the problem solution is given by a posterior distribution on the unknown parameter. Then the following chapter specializes the Bayesian formulation to a linear-Gaussian setting where explicit characterization of the posterior is possible and insightful. The next two chapters explore methods to extract information from the posterior in nonlinear and non-Gaussian settings using optimization and Gaussian approximations. The final two chapters describe sampling methods that can reproduce the full posterior in the large sample limit. Each chapter closes with a bibliography containing citations to alternative pedagogical literature and to relevant research literature. We also include a set of exercises at the end of parts one and two. Our notes are thus useful for both classroom teaching and self-guided study.

연구 동기 및 목표

• 수학적 과학 및 공학 분야의 연구자들을 위해 역문제와 자료 융합에 대한 명확하고 수학적으로 엄밀한 기초를 제공하는 것.
• 노이즈, 모델 불확실성, 사전 정보의 역할을 체계적으로 정의하여 역문제의 잘 정의되지 않은 성격에 도전하는 것.
• 유한한 앙상블을 사용하여 기울기 기반 알고리즘을 근사하는 앙상블 기반 최적화 방법을 도입하고 분석하여 고차원 환경에서의 계산 비용을 줄이는 것.
• 베이지안 프레임워크가 사전 분포의 전체 후행 분포 특성화, 불확실성 정량화, 노이즈 또는 완전하지 않은 데이터에 대한 강건성 제공를 가능하게 하는 방식을 보여주는 것.
• 이론적 통찰과 실용적 알고리즘 설계를 통합하여, 노이즈가 있고 부분적인 관측이 이루어지는 동적 시스템에 특화된 것.

제안 방법

• 베이즈 정리 $ \mathbb{P}(u|y) \propto \mathbb{P}(y|u)\mathbb{P}(u) $ 를 사용하여 역문제를 베이지안 추론으로 공식화하며, 우도와 사전분포가 데이터와 사전 지식을 각각 반영한다.
• 고차원 매개변수 공간에서 후행 분포를 근사하기 위해 마르코프 체인 몬테카를로(MCMC)와 중요도 샘플링을 활용한다.
• 도함수를 요구하지 않는 최적화 기반 방법으로 앙상블 칼만 역문제(EnKI) 및 그 변종(예: IEnKF-SL, TEnKI-SL)을 도입하여 앙상블 통계를 사용해 기울기를 근사한다.
• 정확한 도함수 계산 없이도 전진 모델의 민감도를 근사하기 위해 통계적 선형화를 적용하여, 블랙박스 또는 계산 비용이 큰 환경에서도 활용 가능성을 높인다.
• 랜덤화된 최대가능도와 제곱근 형태를 사용하여 업데이트의 안정성과 수렴성 향상을 도모한다. 이는 잘 정의되지 않은 문제에서 특히 유용하다.
• 수렴성과 암묵적 정규화를 보장하기 위해 적응형 스텝 사이즈와 선형 탐색 전략(예: Armijo 또는 Wolfe 조건)을 활용한다.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크는 어떻게 체계적으로 역문제에 적용되어 불확실성 정량화와 잘 정의된 문제 보장이 이루어지는가?
• RQ2 고차원 역문제에서 전통적인 기울기 기반 최적화에 비해 앙상블 기반 방법이 가지는 이론적 및 계산적 이점은 무엇인가?
• RQ3 도함수가 이용 불가능하거나 계산 비용이 큰 경우 통계적 선형화가 앙상블 칼만 방법의 효율성과 강건성에 어떻게 기여하는가?
• RQ4 다양한 목적 함수(Tikhonov-Phillips, 데이터 불일치)와 최적화 기법(Gauss-Newton, Levenberg-Marquardt)가 앙상블 역문제에서 수렴성과 안정성에 미치는 영향은 어떠한가?
• RQ5 적응형 스텝 사이즈와 정지 기준은 반복적 앙상블 칼만 방법에서 잘 정의되지 않은 문제를 완화하고 수렴성을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 베이지안 프레임워크는 사전 지식, 노이즈 모델, 우도를 명시적으로 통합함으로써 원칙적인 불확실성 인식 접근법을 제공한다.
• 앙상블 수 $ N $ 가 매개변수 차원 $ d $ 보다 작을 경우 앙상블 칼만 방법이 헤시안 또는 야코비안의 명시적 계산을 피함으로써 계산 비용을 크게 절감한다.
• 통계적 선형화 기법은 도함수 계산이 불가능하거나 비용이 큰 블랙박스 모델에서도 도함수 기반 최적화를 가능하게 하여 적용 가능성을 향상시킨다.
• 반복적 앙상블 칼만 필터(IEnKF-SL, EnKI-SL, TEnKI-SL 등)는 적절한 스텝 사이즈 규칙 하에서 수렴하며 잘 정의되지 않은 역문제에 대해 안정적이고 정규화된 해를 제공한다.
• 적응형 스텝 사이즈와 선형 탐색 전략의 사용은 비선형성 또는 불안정한 조건이 있는 경우 수렴성과 안정성을 향상시킨다.
• 연속 시간 및 평균장 근사와의 이론적 연결은 앙상블 방법이 확률적 미분 방정식의 이산화로 해석될 수 있음을 시사하며, 이는 방법의 강건성과 확장성에 대한 지원을 제공한다.