[論文レビュー] Improve Unscented Kalman Inversion With Low-Rank Approximation and Reduced-Order Model

Daniel Zhengyu Huang, Jiaoyang Huang|arXiv (Cornell University)|Feb 21, 2021

Seismic Imaging and Inversion Techniques参考文献 69被引用数 4

ひとこと要約

本稿は、大規模な逆問題に対して、低ランク共分散近似と低次元モデル（ROM）を組み合わせることで、Unscented Kalman Inversion（UKI）を改善し、計算コストとメモリ使用量を削減しながらも精度を維持する。この手法は、O(10^5)パラメータを有する高次元問題において、勾配ベースの手法と同等の効率を達成する。実装例として、バロトropicモデルと3D一般化循環モデル（GCM）を用いて検証された。

ABSTRACT

The unscented Kalman inversion (UKI) presented in [1] is a general derivative-free approach to solving the inverse problem. UKI is particularly suitable for inverse problems where the forward model is given as a black box and may not be differentiable. The regularization strategy and convergence property of the UKI are thoroughly studied, and the method is demonstrated effectively handling noisy observation data and solving chaotic inverse problems. In this paper, we aim to make the UKI more efficient in terms of computational and memory costs for large scale inverse problems. We take advantages of the low-rank covariance structure to reduce the number of forward problem evaluations and the memory cost, related to the need to propagate large covariance matrices. And we leverage reduced-order model techniques to further speed up these forward evaluations. The effectiveness of the enhanced UKI is demonstrated on a barotropic model inverse problem with O($10^5$) unknown parameters and a 3D generalized circulation model (GCM) inverse problem, where each iteration is as efficient as that of gradient-based optimization methods.

研究の動機と目的

• 多くの未知パラメータを有する大規模な逆問題におけるUKIの高い計算コストとメモリ使用量を解消すること。
• UKIの共分散構造における低ランク構造を活用して、共分散行列の大型化を回避し、前方モデルの評価回数と大規模共分散行列の保存に必要なメモリを削減すること。
• 低次元モデル（ROM）技術を用いて前方モデルの評価を高速化し、全体の計算効率を向上させること。
• 改善されたUKIが、高次元設定において勾配ベースの最適化手法と同等の計算効率を達成できることを実証すること。
• 前方モデルが高価またはブラックボックスであるような大規模でノイズやカオス的性質を有する逆問題を効果的に解けるようにすること。

提案手法

• UKIの共分散行列に低ランク近似を適用し、パラメータ空間における低ランク構造を活用することで、前方モデル評価回数を2Nθ+1からはるかに少ない数に削減する。
• 適切な直交分解（POD）または類似のROM技術を用いて、高精度でフルオーダー・モデルを近似する低次元前方モデルを構築する。
• ROMをUKIフレームワークに統合し、各反復における高価なフルオーダー前方モデル評価を置き換え、計算コストを顕著に削減する。
• UKIの微分自由性を維持しつつ、アンサンブルカルマンインバージョンの変種（例：アンサンブル調整や変換カルマンインバージョン）を活用して、明示的な共分散行列の保存を回避し、数値的安定性を向上させる。
• 行列の平方根因子分解やSVDに基づく変換を用いて、Nθ×Nθのフル共分散行列を保存せずにカルマン更新を効率的に計算する。
• UKIのスムージング性と正則化特性を保持しつつ、計算コストとメモリ使用量を大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 低ランク近似は、解の精度を損なわせることなく、UKIにおける前方モデル評価回数を顕著に削減できるか？
• RQ2 低次元モデル（ROM）は、大規模な逆問題において、前方モデル評価をどれほど高速化できるか？ また、その忠実性は保持されるか？
• RQ3 低ランク近似とROMの組み合わせにより、高次元設定においてUKIが勾配ベース手法と同等の計算効率を達成できるか？
• RQ4 混沌としたまたはノイズを含む逆問題において、O(10^5)の未知パラメータを有する場合、改善されたUKIはどの程度の性能を示すか？
• RQ5 計算コストとメモリ使用量を大幅に削減しても、UKIの収束性と正則化特性を維持できるか？

主な発見

• 改善されたUKIは、UKIの共分散行列における低ランク構造を活用することで、計算コストとメモリ使用量を削減し、必要な前方モデル評価回数を顕著に削減した。
• 低次元モデル（ROM）の統合により、O(10^5)の未知パラメータを有する問題に対しても、UKIの各反復が勾配ベース最適化手法と同等の効率を達成できるようになった。
• O(10^5)パラメータを有するバロトropicモデルの逆問題を効率的に解き、スケーラビリティとノイズおよびカオス的性質へのロバストネスを実証した。
• 3D一般化循環モデル（GCM）の逆問題も効率的に解け、高次元性にもかかわらず、精度と収束性を維持していることが確認された。
• この手法は、UKIの微分自由性、正則化性、スムージング特性を保持しており、ノイズやカオス的前方モデルに対しても効果的に対処できる。
• 実際には線形（または超線形）収束を達成しており、UKIの理論的性質と整合的であることが確認されたが、これは大規模設定においても成立する。