[論文レビュー] GAN-Based Priors for Quantifying Uncertainty

Dhruv Patel, Assad A. Oberai|arXiv (Cornell University)|Jan 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 2

ひとこと要約

本稿では、高次元の逆問題における不確実性を定量化するためのベイジアン推論フレームワーク内に、生成対抗ネットワーク（GAN）によって学習された事前分布を用いる手法を提案する。複雑で非ガウス型の事前分布を低次元の潜在空間にマッピングすることで、画像回復タスクにおける正確な事後分布推定が可能となり、分布外検出、分散推定を伴う画像補完、画像ノイズ除去や熱伝導再構成といった物理的駆動型逆問題において、最先端の性能を達成した。

ABSTRACT

Bayesian inference is used extensively to quantify the uncertainty in an inferred field given the measurement of a related field when the two are linked by a mathematical model. Despite its many applications, Bayesian inference faces challenges when inferring fields that have discrete representations of large dimension, and/or have prior distributions that are difficult to characterize mathematically. In this work we demonstrate how the approximate distribution learned by a deep generative adversarial network (GAN) may be used as a prior in a Bayesian update to address both these challenges. We demonstrate the efficacy of this approach on two distinct, and remarkably broad, classes of problems. The first class leads to supervised learning algorithms for image classification with superior out of distribution detection and accuracy, and for image inpainting with built-in variance estimation. The second class leads to unsupervised learning algorithms for image denoising and for solving physics-driven inverse problems.

研究の動機と目的

• 画像および物理場の回復におけるベイジアン推論において、複雑で高次元の事前分布をモデル化する課題に対処すること。
• 従来の事前分布（例：L2、H1）が現実のデータ分布を捉えきれないような逆問題において、不確実性定量化を可能にすること。
• 潜在空間における複雑な事後分布を近似するためにGANを活用する効率的なベイジアン推論フレームワークの構築。
• 分類タスク（分布外検出を含む）、補完タスク（アクティブラーニングを含む）、ノイズ除去、物理的駆動型逆問題など、多様なタスクにおける手法の有効性の検証。

提案手法

• MNISTなどのデータセット上でGANを訓練し、潜在空間における複雑で非ガウス型の事前分布を学習する。
• 訓練済みのGAN生成器を用いて、簡単な潜在事前分布（例：ガウス分布）からのサンプルをデータ多様体へマッピングし、観測空間における事前分布を構築する。
• MCMCを用いて低次元の潜在空間で事後分布からサンプリングし、生成器を介してサンプルをデータ空間へマッピングすることでベイジアン推論を実行する。
• 事後分布サンプルを用いて、最大事後確率（MAP）、平均、画素単位の分散を推定する。
• 推定された分散を用いて、画像補完におけるアクティブラーニング戦略（例：次回の測定ウィンドウの選択）をガイドする。
• 教師あり（分類、補完）および教師なし（ノイズ除去、逆問題）の両方のタスクで手法を検証し、L2 や H1 といった標準的な事前分布と比較する。

実験結果

リサーチクエスチョン

• RQ1 GANベースの事前分布は、高次元の画像回復問題におけるベイジアン推論における不確実性定量化を改善できるか？
• RQ2 ノイズや不完全な測定からの画像再構築において、GAN事前分布はL2 や H1 といった標準的なガウス事前分布と比べてどのように優れているか？
• RQ3 GANベースの事後分布から推定された画素単位の分散は、画像分類における分布外入力の検出に有効に利用できるか？
• RQ4 不確実性推定は、繰り返し的画像補完におけるアクティブラーニングをどの程度効果的にガイドできるか？
• RQ5 既知の真値がある物理的駆動型逆問題において、GANベースの事後分布は真の事後分布に収束するか？

主な発見

• MNISTとNotMNISTの入力において、GANベースの事前分布は、∥ŷ − xMAP∥の測定値で明確な分離を示し、分布外検出で完璧な性能を達成した。
• 画像補完において、分散推定を用いてアクティブなウィンドウ選択を実現し、わずか4つのウィンドウで正確な再構築を達成した。
• 画像ノイズ除去において、σx = 0.1 および 1 の低・中程度のノイズではMAP推定が正確であったが、σx = 10 の高ノイズでは高い分散が推定され、誤った再構築を誤って解釈するのを防いだ。
• 熱伝導逆問題において、GANベースの事後分布は真の初期条件に非常に近いMAP推定を生成し、L2 や H1 事前分布を上回った。
• GANベースの事後分布から得られた画素単位の分散推定は、既知の不確実性領域（例：エッジ）と空間的に整合しており、モンテカルロ法で計算された真の事後分散とよく一致した。
• すべてのテストされた問題において、GANベースの事後分布は、低次元パrameter空間におけるMCMC近似と比較することで、真の事後分布に収束していることが確認された。