[論文レビュー] Faster Uncertainty Quantification for Inverse Problems with Conditional Normalizing Flows

Ali Siahkoohi, Gabrio Rizzuti+2 more|arXiv (Cornell University)|Jul 15, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用数 16

ひとこと要約

本稿では、事前学習された教師ありモデルを教師なし推論の事前分布として再利用することで、逆問題における不確実性評価の高速化を図る2段階の条件付き正規化フロー枠組みを提案する。フローベースの事後分布近似によるトランスファーラーニングを活用することで、PDEに基づく画像処理において、分布外の観測値を伴う新しい逆問題を解く際の訓練速度を顕著に向上させた。

ABSTRACT

In inverse problems, we often have access to data consisting of paired samples $(x,y)\sim p_{X,Y}(x,y)$ where $y$ are partial observations of a physical system, and $x$ represents the unknowns of the problem. Under these circumstances, we can employ supervised training to learn a solution $x$ and its uncertainty from the observations $y$. We refer to this problem as the "supervised" case. However, the data $y\sim p_{Y}(y)$ collected at one point could be distributed differently than observations $y'\sim p_{Y}'(y')$, relevant for a current set of problems. In the context of Bayesian inference, we propose a two-step scheme, which makes use of normalizing flows and joint data to train a conditional generator $q_θ(x|y)$ to approximate the target posterior density $p_{X|Y}(x|y)$. Additionally, this preliminary phase provides a density function $q_θ(x|y)$, which can be recast as a prior for the "unsupervised" problem, e.g.~when only the observations $y'\sim p_{Y}'(y')$, a likelihood model $y'|x$, and a prior on $x'$ are known. We then train another invertible generator with output density $q'_ϕ(x|y')$ specifically for $y'$, allowing us to sample from the posterior $p_{X|Y}'(x|y')$. We present some synthetic results that demonstrate considerable training speedup when reusing the pretrained network $q_θ(x|y')$ as a warm start or preconditioning for approximating $p_{X|Y}'(x|y')$, instead of learning from scratch. This training modality can be interpreted as an instance of transfer learning. This result is particularly relevant for large-scale inverse problems that employ expensive numerical simulations.

研究の動機と目的

• 高価なPDEシミュレーションを伴う大規模な逆問題における不確実性評価の訓練が遅いという課題に対処する。
• ペairedデータが利用できない状況で、純粋に教師なし手法が新しい分布外の観測値に一般化する能力に限界があることに対処する。
• レガシーデータとしての教師ありデータを活用し、教師なし推論のための事前分布としての条件付き正規化フローを事前学習することで、収束速度と解の品質を向上させる。
• 可逆な生成モデルと解析的密度計算を用いて、高次元の逆問題における効率的な事後分布近似を実現する。
• 事前学習済みの条件付き正規化フローを新たな逆問題の事前分布として再利用するトランスファーラーニング戦略を開発し、訓練時間をゼロから行う場合に比べて短縮する。

提案手法

• ペアドデータ $ (x,y) \sim p_{X,Y}(x,y) $ 上で条件付き正規化フロー $ q_\theta(x|y) $ を学習し、事後分布 $ p_{X|Y}(x|y) $ を近似することで、解析的密度推定を可能にする。
• 学習された $ q_\theta(x|y) $ を教師なし問題の事前分布として使用し、手動で設計されたあるいはランダムな事前分布に置き換える。
• 新しい観測値 $ y' \sim p_Y'(y') $ に対して、事前学習済みの $ q_\theta $ をウォームスタートまたはプレコンディショナーとして用いて、第二の条件付きフロー $ q'_\phi(x|y') $ を訓練する。
• 可逆フローを用いた尤度ベースの訓練により、メモリ複雑度が一定を保ち、モード崩壊を回避する。
• 可逆性を活用して正確な対数尤度を計算できるように、事後分布近似を変分推論問題として定式化する。
• 圧縮センシングと波動方程式の前方モデルを用いた地震画像処理に本手法を適用し、分布外データにおける性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの教師あり正規化フローを、教師なし不確実性評価のための事前分布として効果的に再利用できるか？
• RQ2 ランダム初期化と比較して、フローベースの事前分布によるトランスファーラーニングは、収束速度と解の正確性においてどのように異なるか？
• RQ3 条件付き正規化フローは、計算コストの高いシミュレーションを伴う高次元のPDEに基づく逆問題において、効率的な事後分布近似をどの程度可能にするか？
• RQ4 レガシーデータから導出されたフローベースの事前分布を用いることで、画像処理応用において新しい分布外の観測値への一般化性能が向上するか？
• RQ5 ウォームスタートとして事前学習済みフローを用いることで、教師なし逆問題における訓練安定性と最終的な事後分布品質にどのような影響を与えるか？

主な発見

• 事前学習済みの条件付き正規化フローを事前分布として用いることで、教師なし逆問題の訓練が顕著に高速化され、目標損失に到達するための反復回数が著しく削減された。
• ウォームスタートから開始した訓練は、ランダム初期化から開始した場合よりも収束が速く、より一貫して低い損失値に到達した。
• ウォームスタートされたモデルからの条件付き平均推定値は、ランダム初期化されたネットワークの推定値よりも真値に著しく近かった。
• ウォームスタートモデルからのポイントワイズ標準偏差は、より正確な不確実性評価を示し、空間的整合性と不確実性の局在化が優れていた。
• ランダム初期化されたネットワークは20,000反復経過後でも妥当な事後分布近似を生成できなかったが、ウォームスタートされたモデルは妥当な解に収束した。
• 本手法は、前方モデルが計算的に高価な大規模な画像処理問題、例えば地震画像処理やオプトエコー画像処理において強い応用可能性を示した。