[논문 리뷰] Improve Unscented Kalman Inversion With Low-Rank Approximation and Reduced-Order Model

Daniel Zhengyu Huang, Jiaoyang Huang|arXiv (Cornell University)|2021. 02. 21.

Seismic Imaging and Inversion Techniques참고 문헌 69인용 수 4

한 줄 요약

이 논문은 저랭크 공분산 근사와 감소차원 모델(Reduced-Order Models, ROMs)을 조합하여 대규모 역문제에 적합한 유unscented 칼만 역행렬(UKI)을 향상시킨다. 이는 계산 비용과 메모리 사용량을 줄이면서도 정확도를 유지한다. 제안된 방법은 매개변수 수가 O(10^5)에 이르는 고차원 문제에서 기울기 기반 방법과 유사한 효율성을 달성한다. 이는 비압축 모델과 3D 일반화 대류 모델(GCM)을 통해 검증되었다.

ABSTRACT

The unscented Kalman inversion (UKI) presented in [1] is a general derivative-free approach to solving the inverse problem. UKI is particularly suitable for inverse problems where the forward model is given as a black box and may not be differentiable. The regularization strategy and convergence property of the UKI are thoroughly studied, and the method is demonstrated effectively handling noisy observation data and solving chaotic inverse problems. In this paper, we aim to make the UKI more efficient in terms of computational and memory costs for large scale inverse problems. We take advantages of the low-rank covariance structure to reduce the number of forward problem evaluations and the memory cost, related to the need to propagate large covariance matrices. And we leverage reduced-order model techniques to further speed up these forward evaluations. The effectiveness of the enhanced UKI is demonstrated on a barotropic model inverse problem with O($10^5$) unknown parameters and a 3D generalized circulation model (GCM) inverse problem, where each iteration is as efficient as that of gradient-based optimization methods.

연구 동기 및 목표

• 많은 미지 매개변수를 가진 대규모 역문제에서 UKI의 높은 계산 비용과 메모리 사용량을 해결한다.
• UKI의 공분산 구조에 저랭크 근사를 적용하여 전방 모델 평가 횟수와 큰 공분산 행렬의 저장을 줄인다.
• 감소차원 모델(Reduced-Order Model, ROM) 기법을 활용해 전방 모델 평가를 가속화하여 전체 효율성을 향상시킨다.
• 향상된 UKI가 고차원 환경에서 기울기 기반 최적화 방법과 유사한 계산 효율성을 달성함을 입증한다.
• 비용이 많이 들거나 블랙박스인 전방 모델을 가진 대규모, 노이즈가 많은, 혼돈적인 역문제를 효과적으로 해결할 수 있도록 한다.

제안 방법

• UKI의 공분산 행렬에 저랭크 근사를 적용하여 매개변수 공간 내 저랭크 구조를 활용함으로써, 필요로 하는 전방 모델 평가 횟수를 2Nθ+1에서 훨씬 적은 수로 줄인다.
• 적절한 직교 분해(POD) 또는 유사한 ROM 기법을 사용하여 고정밀도를 갖는 감소차원 전방 모델을 구축한다.
• ROM을 UKI 프레임워크에 통합하여 각 반복 동안 고비용의 전체차원 전방 모델 평가를 대체함으로써 계산 비용을 크게 감소시킨다.
• 유unscented 변환과 확률적 역학을 통해 UKI의 도함수 기반 성질을 유지하면서도 수렴성과 정규화 성질을 확보한다.
• 명시적인 공분산 행렬 저장을 피하고 수치적 안정성을 향상시키기 위해 결정론적 엔세임 칼만 역행렬 변형(예: 엔세임 조정 또는 변환 칼만 역행렬)을 활용한다.
• 행렬 제곱근 분해와 SVD 기반 변환을 사용하여 전체 Nθ×Nθ 공분산 행렬을 저장하지 않고도 효율적으로 칼만 업데이트를 계산한다.

실험 결과

연구 질문

• RQ1 저랭크 근사는 UKI의 전방 모델 평가 횟수를 크게 줄일 수 있는가? 이로 인해 해의 정확도가 저하되지 않는가?
• RQ2 감소차원 모델(Rom)은 대규모 역문제에서 전방 평가를 얼마나 빠르게 할 수 있으며, 정밀도를 유지할 수 있는가?
• RQ3 저랭크 근사와 ROM의 조합이 고차원 설정에서 UKI가 기울기 기반 방법과 유사한 계산 효율성을 달성하는 데 기여하는가?
• RQ4 향상된 UKI는 O(10^5) 미지 매개변수를 가진 혼돈적 또는 노이즈가 많은 역문제에서 얼마나 잘 작동하는가?
• RQ5 기존 UKI의 수렴성과 정규화 성질을 유지하면서도 계산 비용과 메모리 사용량을 극적으로 줄일 수 있는가?

주요 결과

• 향상된 UKI는 UKI의 공분산 행렬 내 저랭크 구조를 활용하여 계산 비용과 메모리 사용량을 줄였으며, 필요한 전방 모델 평가 횟수를 크게 감소시켰다.
• 감소차원 모델(Rom)의 통합으로 UKI의 각 반복이 기울기 기반 최적화 방법과 유사한 효율성을 갖게 되었으며, O(10^5) 미지 매개변수를 가진 문제에서도 성능이 뛰어나다.
• O(10^5) 매개변수를 가진 비압축 모델의 역문제를 성공적으로 해결하여 확장성과 노이즈 및 혼돈에 대한 강건성을 입증했다.
• 3D 일반화 대류 모델(GCM)의 역문제도 효율적으로 해결하여, 고차원성에도 불구하고 정확도와 수렴성이 유지됨을 확인했다.
• 이 방법은 UKI의 도함수 기반, 정규화, 스무딩 성질을 유지하여 노이즈가 많거나 혼란스러운 전방 모델을 효과적으로 다룰 수 있다.
• 실제로 선형(또는 초선형) 수렴을 달성하였으며, 이는 고차원 설정에서도 UKI의 이론적 성질과 일치한다.