[論文レビュー] Dropout Ensemble Kalman inversion for high dimensional inverse problems

Shiyang Liu, Sebastian Reich+1 more|arXiv (Cornell University)|Aug 31, 2023

Statistical and numerical algorithmsMathematics被引用数 3

ひとこと要約

本稿では、高次元逆問題における標準的 Ensemble Kalman Inversion (EKI) の部分空間制限を、アンサンブル偏差成分にドロップアウト正則化を適用することで克服する新しい手法である Dropout-Ensemble Kalman Inversion (DEKI) を提案する。DEKI は小さなアンサンブルサイズでも収束を達成し、次元に対して線形の計算スケーリングを実現し、最適なクエリ複雑度を達成する。理論的分析と高次元 PDE 約束逆問題における数値実験により検証されている。

ABSTRACT

Ensemble Kalman inversion (EKI) is an ensemble-based method to solve inverse problems. Its gradient-free formulation makes it an attractive tool for problems with involved formulation. However, EKI suffers from the ''subspace property'', i.e., the EKI solutions are confined in the subspace spanned by the initial ensemble. It implies that the ensemble size should be larger than the problem dimension to ensure EKI's convergence to the correct solution. Such scaling of ensemble size is impractical and prevents the use of EKI in high dimensional problems. To address this issue, we propose a novel approach using dropout regularization to mitigate the subspace problem. We prove that dropout-EKI converges in the small ensemble settings, and the computational cost of the algorithm scales linearly with dimension. We also show that dropout-EKI reaches the optimal query complexity, up to a constant factor. Numerical examples demonstrate the effectiveness of our approach.

研究の動機と目的

• アンサンブル・カルマン・インバージョン (EKI) の部分空間特性に対処すること。これは、解が初期アンサンブルの張る空間に制限され、問題の次元を超えるアンサンブルサイズを必要とする。
• 高次元逆問題における大きなアンサンブルサイズの非現実性を、初期部分空間を超える探索を促進する正則化機構の導入により克服すること。
• 固定された小さなアンサンブルサイズで、収束性と最適性を保ちながら、理論的裏付けと計算効率性を兼ね備えた手法を開発すること。
• 提案手法の理論的収束保証とクエリ複雑度の上限を確立し、零番目の最適化の文脈においてその最適性を示すこと。

提案手法

• EKI の反復においてアンサンブル偏差成分にドロップアウト正則化を導入し、更新時に成分をランダムに抑制することで、初期部分空間を超える探索を促進する。
• 標準的 EKI 更新則を変更し、アンサンブル偏差とランダムなドロップアウトマスクとのハダマード積を適用することで、アンサンブル共分散更新に確率的摂動を効果的に導入する。
• 適切なステップサイズの適応を施した場合、線形問題および強い凸な非線形問題において指数的収束を証明し、高次元設定における安定性と正確性を保証する。
• アルゴリズムのクエリ複雑度を分析し、考慮された問題クラスにおいて定数倍の要因を除き最適な性能を達成することを示し、高次元逆問題に対して効率的であることを示す。
• 問題の次元に依存しない固定されたアンサンブルサイズを用いて実装することで、高次元 PDE 約束逆問題へのスケーラビリティを実現する。
• ベイズ推論フレームワークに整合するように、事前共分散行列を用いたチホノフ正則化損失関数を用いる。

Figure 4: Comparison of the inversion solutions of EKI and DEKI in Darcy’s law model in different setups with ensemble size $J=15$ . Row 1: setup 1 $(l_{x}=0.1,l_{y}=0.1,d_{u}=136)$ ; Row 2: setup 2 $(l_{x}=0.2,l_{y}=0.05,d_{u}=142)$ ; Row 3: setup 3 $(l_{x}=0.15,l_{y}=0.05,d_{u}=179)$ ; Row 4: setu

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト正則化は、高次元逆問題において小さなアンサンブルで収束を可能にする EKI の部分空間特性を効果的に緩和するために適応可能か？
• RQ2 提案された DEKI 手法は、問題の次元に対して線形の計算スケーリングを達成するか？ これにより大規模応用が可能になるか？
• RQ3 適切なステップサイズ選択のもとで、線形および強い凸な非線形問題における DEKI の理論的収束速度は何か？
• RQ4 DEKI は、零番目の最適化の文脈において、問題クラスの観点から定数倍の要因を除き最適なクエリ複雑度を達成するか？
• RQ5 高次元、PDE 約束逆問題において、DEKI は標準的 EKI と比べて解の精度と頑健性に優れているか？

主な発見

• DEKI は EKI の部分空間特性を効果的に緩和し、問題の次元より小さなアンサンブルサイズでも真の解に収束することを可能にする。
• 理論的分析により、適切なステップサイズ適応のもとで、線形問題では指数的収束が確認され、強い凸な非線形問題の最終段階でも同様に高速収束が示された。
• DEKI の計算コストは問題の次元 $d_u$ に対して線形にスケーリングされ、高次元逆問題において最適である。
• ゼロ番目の最適化の複雑度解析の適応により、考慮された問題クラスにおいて定数倍の要因を除き、DEKI は最適なクエリ複雑度を達成することが示された。
• $d_u = 254$ パラメータにまで及ぶダルシーの流れモデルにおける数値実験では、DEKI は $J = 15$ のアンサンブルメンバーで正確な逆問題を維持しているが、標準的 EKI は収束しない。
• すべてのテスト設定において、DEKI は時間経過とともにデータ不適合度と解の誤差を一貫して低減するが、EKI は部分空間への閉じ込めにより停滞する。これは、繰り返しのランダム初期化やドロップアウトの実現でも同様であった。