[論文レビュー] Uncertainty Quantification with Generative Models

Vanessa Böhm, François Lanusse+1 more|arXiv (Cornell University)|Oct 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 20

ひとこと要約

本稿では、正規化フローを用いた変分オートエンコーダー（VAE）を用いて、高次元データ再構成における効率的で取り扱いやすい不確実性評価を可能にする、ベイジアン逆問題のための生成モデルベースのフレームワークを提案する。一度クリーンデータ上で訓練された生成モデルを用いることで、潜在空間における事後分布推論が可能となり、再訓練を伴わずに多様なノイズタイプに対応できる。

ABSTRACT

We develop a generative model-based approach to Bayesian inverse problems, such as image reconstruction from noisy and incomplete images. Our framework addresses two common challenges of Bayesian reconstructions: 1) It makes use of complex, data-driven priors that comprise all available information about the uncorrupted data distribution. 2) It enables computationally tractable uncertainty quantification in the form of posterior analysis in latent and data space. The method is very efficient in that the generative model only has to be trained once on an uncorrupted data set, after that, the procedure can be used for arbitrary corruption types.

研究の動機と目的

• 高次元画像再構成問題における正確でデータ駆動的な事前分布の構築の課題に対処すること。
• 高次元データ空間における完全な事後分布解析の計算的非実行可能性を克服すること。
• 低次元の潜在空間における取り扱いやすい事後分布近似を通じて、不確実性評価を可能にすること。
• 再訓練なしに複数のノイズタイプに再利用可能な1つの事前学習済み生成モデルフレームワークを構築すること。
• 従来のサンプリング手法（例：ハミルトニアン・モンテカルロ）の代替として、複雑で非ガウス型の事後分布に対してもスケーラブルである方法を提供すること。

提案手法

• 低次元の潜在空間からのデータ分布マッピングを学習するために、元のデータ上で変分オートエンコーダー（VAE）を訓練する。
• 一対一の正規化フローを適用して、VAEの潜在空間分布を標準正規分布に変換し、より良いモデリングを実現する。
• ベイズの定理を用いて潜在変数の事後分布を定式化する：$ p_{\phi}(\mathbf{z}|\mathbf{x}) \propto p_{\phi}(\mathbf{x}|\mathbf{z})p(\mathbf{z}) $。
• 潜在空間における事後分布のガウス近似をフィットするために、EL2O目的関数を用い、複数回のランダムリスタートを伴う尤度下界の最小化を行う。
• 潜在空間におけるフィットされた事後分布からサンプリングし、データ空間にデコードして再構成における不確実性を可視化する。
• 生成モデルを線形ノイズモデル $ \mathbf{A} $ と加法的ガウスノイズと組み合わせて、前向きプロセスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの生成モデルは、ノイズのないデータに複雑な構造を捉える柔軟でデータ駆動的な事前分布を提供できるか？
• RQ2 潜在空間における事後分布近似を通じて、高次元逆問題における不確実性評価を計算的に取り扱いやすくできるか？
• RQ3 EL2Oに基づく事後分布フィッティングの性能は、精度と効率の観点で確率的変分推論（SVI）と比較してどのように異なるか？
• RQ4 1つの事前学習済み生成モデルが再訓練なしに、多様なノイズタイプをどの程度効果的に処理できるか？
• RQ5 本手法は、分散のみまたは平均場近似によっては捉えきれない、事後分布における多次元性および相関構造を保持できるか？

主な発見

• EL2O法は、SVIに比べて収束が速く、10回の最小化（各約10秒）で十分であったのに対し、SVIは8000ステップを要した。
• EL2O法では、40％のランダムリスタートでグローバル事後分布モードを特定したが、他の局所的最小値は事後分布にほとんど寄与しなかった。
• 自動微分により計算されたグローバル最小値の曲率から、安定した事後分布共分散の推定値が得られ、フルランクガウス近似に使用された。
• EL2OとSVIの両方の事後分布フィットは真の事後分布モードと一致しなかったが、EL2Oは真の負の対数事後分布の形状とより良い一致を示した。
• SVIに比べて計算コストが高かったにもかかわらず、EL2Oに基づくサンプリングによる再構成は真の値にSVIよりも近かった。
• 本手法は、多次元性や強い相関を含む複雑な事後分布構造を効果的に捉えており、分散や対角近似ではうまく表現できない構造を補い得た。