[論文レビュー] Inverse Problems and Data Assimilation

Daniel Sanz-Alonso, Andrew M. Stuart+1 more|arXiv (Cornell University)|Oct 15, 2018

Gaussian Processes and Bayesian Inference被引用数 9

ひとこと要約

本論文は、不確実性下でのパrameter推定にベイズフレームワークを強調して、逆問題およびデータ同化の包括的な数学的導入を提供する。統計的線形化と微分の近似を用いて、計算コストを低減し、高次元で悪く定義された逆問題を効率的に解くためのアンサンブルベースの最適化アルゴリズム（例：反復的アンサンブルカルマンフィルターやその変種）を提示する。

ABSTRACT

We provide a clear and concise introduction to the subjects of inverse problems and data assimilation, and their inter-relations. The first part of our notes covers inverse problems; this refers to the study of how to estimate unknown model parameters from data. The second part of our notes covers data assimilation; this refers to a particular class of inverse problems in which the unknown parameter is the initial condition (and/or state) of a dynamical system, and the data comprises partial and noisy observations of the state. The third and final part of our notes describes the use of data assimilation methods to solve generic inverse problems by introducing an artificial algorithmic time. Our notes cover, among other topics, maximum a posteriori estimation, (stochastic) gradient descent, variational Bayes, Monte Carlo, importance sampling and Markov chain Monte Carlo for inverse problems; and 3DVAR, 4DVAR, extended and ensemble Kalman filters, and particle filters for data assimilation. Each of parts one and two starts with a chapter on the Bayesian formulation, in which the problem solution is given by a posterior distribution on the unknown parameter. Then the following chapter specializes the Bayesian formulation to a linear-Gaussian setting where explicit characterization of the posterior is possible and insightful. The next two chapters explore methods to extract information from the posterior in nonlinear and non-Gaussian settings using optimization and Gaussian approximations. The final two chapters describe sampling methods that can reproduce the full posterior in the large sample limit. Each chapter closes with a bibliography containing citations to alternative pedagogical literature and to relevant research literature. We also include a set of exercises at the end of parts one and two. Our notes are thus useful for both classroom teaching and self-guided study.

研究の動機と目的

• 数学的科学および工学分野の研究者を対象に、逆問題およびデータ同化の明確で数学的に厳密な基盤を提供すること。
• ノイズ、モデル不確実性、事前情報の役割を形式化することで、逆問題における悪く定義された性質の課題に対処すること。
• 有限のアンサンブルを用いて勾配ベースのアルゴリズムを近似するアンサンブルベースの最適化手法を導入・分析し、高次元設定における計算コストを低減すること。
• ベイズフレームワークが事後分布の完全な特徴付け、不確実性の定量化、ノイズや不完全なデータに対する頑健性を可能にすることを示すこと。
• 理論的知見と実用的アルゴリズム設計を統合し、特にノイズがあり部分的な観測を持つ動的システムに対して有効であることを示すこと。

提案手法

• ベイズの定理を用いて、尤度と事前分布がデータと事前知識を符号化するように、逆問題をベイズ推論として定式化する。$ \mathbb{P}(u|y) \propto \mathbb{P}(y|u)\mathbb{P}(u) $ と表記される事後分布を計算する。
• 高次元パrameter空間における事後分布の完全な近似に、マルコフ連鎖モンテカルロ法（MCMC）と重要度サンプリングを用いる。
• 勾配を必要としない最適化ベースの手法として、アンサンブルカルマンインバージョン（EnKI）およびその変種（例：IEnKF-SL、TEnKI-SL）を導入し、アンサンブル統計を用いて勾配を近似する。
• 正確な微分を計算せずに、前方モデルの感度を近似するために統計的線形化を適用し、ブラックボックスまたは計算コストの高い設定でも利用可能にする。
• ランダム化された最大尤度法と平方根形式を用いて、悪く定義された問題における更新の安定化と収束の改善を図る。
• 収束を保証し、反復ソルバーにおける暗黙の正則化を実現するために、適応的ステップサイズとラインサーチ戦略（例：Armijo条件、Wolfe条件）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイズフレームワークを逆問題に体系的に適用することで、不確実性の定量化と適切に定義された性質の保証が可能になるか？
• RQ2 高次元逆問題において、従来の勾配ベース最適化と比較して、アンサンブルベース手法が持つ理論的および計算上の利点は何か？
• RQ3 微分が利用できないか計算コストが高いために、統計的線形化がアンサンブルカルマン法の効率性と頑健性をどのように向上させるか？
• RQ4 Tikhonov-Phillips正則化やデータ不適合度といった異なる目的関数、およびガウス＝ニュートン法やレーベンバーグ＝マーカート法といった最適化スキームが、アンサンブルインバージョンにおける収束性と安定性に与える影響は何か？
• RQ5 適応的ステップサイズと停止基準は、反復的アンサンブルカルマン法における悪く定義された性質の緩和と収束の確保にどのような役割を果たすか？

主な発見

• ベイズフレームワークは、事前知識、ノイズモデル、尤度を明示的に組み込む、原則的で不確実性に配慮した逆問題のアプローチを提供する。
• アンサンブルサイズ $ N $ がパrameter次元 $ d $ より小さい場合、Hessian行列やヤコビ行列の明示的計算を避けることで、アンサンブルカルマン法が顕著な計算コストの削減を達成する。
• 統計的線形化により、ブラックボックスモデルにおける勾配を必要としない最適化が可能になり、複雑または計算コストの高い前方モデルへの適用性が向上する。
• 反復的アンサンブルカルマンフィルター（例：IEnKF-SL、EnKI-SL、TEnKI-SL）は、適切なステップサイズルールに従えば収束し、悪く定義された逆問題に対して安定で正則化された解を提供する。
• 適応的ステップサイズとラインサーチ戦略の使用により、非線形性や悪く条件付けられた設定においても収束性と安定性が向上する。
• 連続時間および平均場極限への理論的接続は、アンサンブル法が確率的微分方程式の離散化として解釈可能であることを示唆し、その頑健性とスケーラビリティを支持する。