[논문 리뷰] Localization in Ensemble Kalman inversion

Xin T. Tong, Matthias Morzfeld|arXiv (Cornell University)|2022. 01. 26.

Image and Signal Denoising Methods인용 수 4

한 줄 요약

이 논문은 전통적인 EKI의 부분공간 성질을 깨뜨리기 위해 국소화를 적용함으로써 초기 저차원 부분공간에서 벗어나도록 허용하는 국소화된 엔semble 칼만 역행렬(LEKI)을 소개한다. 저자들은 LEKI가 엄격한 가정 하에 하위선형 수렴 속도로 전역 최소화점을 수렴하고, 균일한 데이터 불일치 감소를 보장함으로써 도함수 계산 없이도 대규모 역문제를 효율적으로 해결할 수 있음을 증명한다.

ABSTRACT

Ensemble Kalman inversion (EKI) is a technique for the numerical solution of inverse problems. A great advantage of the EKI's ensemble approach is that derivatives are not required in its implementation. But theoretically speaking, EKI's ensemble size needs to surpass the dimension of the problem. This is because of EKI's "subspace property", i.e., that the EKI solution is a linear combination of the initial ensemble it starts off with. We show that the ensemble can break out of this initial subspace when "localization" is applied. In essence, localization enforces an assumed correlation structure onto the problem, and is heavily used in ensemble Kalman filtering and data assimilation. We describe and analyze how to apply localization to the EKI, and how localization helps the EKI ensemble break out of the initial subspace. Specifically, we show that the localized EKI (LEKI) ensemble will collapse to a single point (as intended) and that the LEKI ensemble mean will converge to the global optimum at a sublinear rate. Under strict assumptions on the localization procedure and observation process, we further show that the data misfit decays uniformly. We illustrate our ideas and theoretical developments with numerical examples with simplified toy problems, a Lorenz model, and an inversion of electromagnetic data, where some of our mathematical assumptions may only be approximately valid.

연구 동기 및 목표

• 초기 엔셈블이 형성하는 부분공간에 모든 엔셈블 멤버가 갇혀 있는 EKI의 근본적 한계를 해결하기 위해.
• 데이터 동조에서 흔히 사용되는 국소화를 EKI에 적용하기 위한 수학적으로 엄밀한 프레임워크를 개발하기 위해.
• 국소화된 EKI(LEKI) 엔셈블이 한 점으로 수렴하고, 손실 함수의 전역 최소화점으로 하위선형 속도로 수렴함을 증명하기 위해.
• LEKI에서 모든 구성 요소에 걸쳐 데이터 불일치가 균일하게 감소하는 조건을 설정하기 위해.
• 토이 문제, 로렌츠 모델, 전자기적 데이터 역행렬에 대한 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 국소화된 공분산 행렬을 정의하여 공간적 상관관계의 감쇠를 강제로 적용함으로써, 부적절한 상관관계를 줄이고 효과적 질량을 증가시키는 국소화 연산자를 도입한다.
• 표준 EKI 업데이트 규칙을 수정하여 국소화된 공분산 행렬을 통합함으로써, 엔셈블이 초기 부분공간 외부의 방향을 탐색할 수 있도록 한다.
• 샘플 공분산에 국소화 함수를 적용하는 국소화된 EKI(LEKI) 알고리즘을 정의하여, 엔셈블이 초기 선형 스펜에서 벗어날 수 있도록 보장한다.
• 연속 시간 근사와 리아푸노프 유형의 추론을 사용하여 LEKI 엔셈블 평균의 수렴성을 분석하고, 하위선형 수렴 속도를 도출한다.
• 국소화와 관측 모델에 대한 엄격한 가정 하에, 손실 함수의 진화에 대한 경계를 사용하여 데이터 불일치의 균일한 감소를 확립한다.
• 확률 과정과 마코프 체인의 추론을 사용하여 국소화된 엔셈블의 행동, 특히 최소화점에 도달하는 기대 도달 시간을 분석한다.

실험 결과

연구 질문

• RQ1 엔셈블 공분산에서의 국소화가 EKI의 부분공간 성질을 깨뜨리며, 엔셈블이 초기 저차원 부분공간에서 벗어나게 할 수 있는가?
• RQ2 LEKI 엔셈블 평균이 손실 함수의 전역 최소화점으로 수렴할 수 있는 수렴 속도는 무엇인가?
• RQ3 LEKI 프레임워크에서 데이터 불일치가 모든 구성 요소에 걸쳐 균일하게 감소하는 조건은 무엇인가?
• RQ4 국소화된 공분산 구조는 LEKI 엔셈블이 한 점으로 수렴하는 데 어떤 영향을 미치는가?
• RQ5 국소화가 엔셈블 기반 역문제 해법에서 경험적으로 성공한 데 대한 수학적 근거는 무엇인가?

주요 결과

• LEKI 엔셈블은 지정된 속도로 한 점으로 수렴하여 유일한 해로 수렴함을 보장한다.
• LEKI 엔셈블 평균은 손실 함수의 전역 최소화점으로 하위선형 속도로 수렴하며, 특정한 c>0에 대해 O((t+1)^{-c})의 형태를 가진다.
• 국소화와 관측 과정에 대한 엄격한 가정 하에, 모든 구성 요소에 걸쳐 데이터 불일치가 균일하게 감소하며, 감소 속도는 O((t+1)^{-2c})로 경계된다.
• 이론적 분석은 국소화가 엔셈블 공분산의 효과적 질량을 증가시켜 초기 부분공간에서 벗어나는 데 기여함을 확인한다.
• 토이 문제, 로렌츠 시스템, 전자기적 데이터 역행렬에 대한 수치 실험은 LEKI의 실용적 타당성을 입증하며, 가정이 근사적으로만 충족되더라도 성능이 유지됨을 보여준다.
• 수렴성과 수렴 결과는 연속 시간 근사와 그론발라 타입 부등식을 통해 확립되었으며, 손실 함수의 진화와 엔셈블 분산에 대한 엄밀한 경계를 제공한다.