[論文レビュー] Preconditioned training of normalizing flows for variational inference in inverse problems

Ali Siahkoohi, Gabrio Rizzuti+3 more|arXiv (Cornell University)|Nov 23, 2020

Seismic Imaging and Inversion Techniques被引用数 2

ひとこと要約

本稿では、高価な前方演算子を伴う逆問題における変分推論のための高精度な正規化フロー（NF）の学習を高速化するため、低精度データ上で事前学習された条件付き正規化フロー（NF）を用いた前処理戦略を提案する。高精度NFの重みを事前学習済み低精度NFから初期化することで、Kullback-Leibler散発を最小化する際の計算時間を大幅に短縮しつつ、精度を損なわずに実現した。2次元および地震圧縮センシングの例でその有効性が示された。

ABSTRACT

Obtaining samples from the posterior distribution of inverse problems with expensive forward operators is challenging especially when the unknowns involve the strongly heterogeneous Earth. To meet these challenges, we propose a preconditioning scheme involving a conditional normalizing flow (NF) capable of sampling from a low-fidelity posterior distribution directly. This conditional NF is used to speed up the training of the high-fidelity objective involving minimization of the Kullback-Leibler divergence between the predicted and the desired high-fidelity posterior density for indirect measurements at hand. To minimize costs associated with the forward operator, we initialize the high-fidelity NF with the weights of the pretrained low-fidelity NF, which is trained beforehand on available model and data pairs. Our numerical experiments, including a 2D toy and a seismic compressed sensing example, demonstrate that thanks to the preconditioning considerable speed-ups are achievable compared to training NFs from scratch.

研究の動機と目的

• 高価な前方演算子を伴う逆問題における後方分布サンプリングのための正規化フローの学習における計算課題に対処すること。
• 低精度のモデル・データペアを活用することで、高精度の変分推論における学習コストを低減すること。
• 事前学習済みの低精度NFの重みを用いて高精度モデルを初期化することで、正規化フローの収束速度を向上させること。
• 地震圧縮センシングなどの例における、複雑で不均一な後方分布からの効率的なサンプリングを可能にすること。
• 条件付きNFによる前処理が、後方分布近似の品質を損なわせることなく、測定可能な高速化をもたらすかどうかを示すこと。

提案手法

• 低精度のモデルとデータペア上で条件付き正規化フローを学習し、代理の後方分布を学習する。
• 事前学習済みの低精度NFを用いて高精度NFを初期化し、最適化の探索空間を縮小する。
• 高精度NFは、予測された後方分布と望ましい後方分布密度の間のKullback-Leibler散発を最小化するように学習する。
• 本手法は間接的測定を活用し、低精度および高精度問題間の構造的類似性を活用する。
• 条件付きNFアーキテクチャにより、前方演算子を通り抜ける微分可能性を保ちつつ、後方分布のエンドツーエンド学習が可能になる。
• 低精度から高精度への知識の転送により、ランダム初期化からの学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 低精度の正規化フローは、逆問題における高精度正規化フローの学習を効果的に前処理できるか？
• RQ2 低精度の重みを用いて高精度NFを初期化することで、学習時間の短縮と収束の向上がどの程度達成できるか？
• RQ3 事前処理を施した高精度NFは、ランダム初期化から学習した場合と比べて、真の後方分布をどの程度よく近似できるか？
• RQ4 高価な前方演算子を伴う問題において、計算コストを著しく削減しながらも精度を維持できるか？
• RQ5 本手法は、地震圧縮センシングなどの実世界の逆問題に一般化可能か？

主な発見

• 前処理を施した学習アプローチは、正規化フローをランダム初期化から学習する場合と比較して、著しい学習時間の短縮を達成した。
• 事前学習済みの低精度NFの重みを用いることで、高精度学習における収束に必要な反復回数が顕著に減少した。
• 2次元のトピック問題と地震圧縮センシングの例における数値実験により、高品質な後方分布近似が維持されていることが検証された。
• 条件付き正規化フローは、強烈に不均一な媒体でさえも、複雑な後方分布構造を的確に捉えた。
• 低精度から高精度への知識の転送により、後方分布の精度をほとんど損なわせることなく、最適化が高速化された。
• 地球物理学的イメージングに見られるような、高価な前方演算子を伴う問題において、本手法はスケーラビリティと効率性を示した。