[論文レビュー] Invertible generative models for inverse problems: mitigating representation error and dataset bias

Muhammad Asim, Max Daniels+3 more|arXiv (Cornell University)|May 28, 2019

Generative Adversarial Networks and Image Synthesis被引用数 74

ひとこと要約

この論文は、可逆ニューラルネットワークが imaging の逆問題の事前分布として機能し、表現誤差とデータセットのバイアスを緩和し、いくつかのタスクでGAN事前分布を上回り、線形可逆生成器の理論的復元境界を提供することを示している。

ABSTRACT

Trained generative models have shown remarkable performance as priors for\ninverse problems in imaging -- for example, Generative Adversarial Network\npriors permit recovery of test images from 5-10x fewer measurements than\nsparsity priors. Unfortunately, these models may be unable to represent any\nparticular image because of architectural choices, mode collapse, and bias in\nthe training dataset. In this paper, we demonstrate that invertible neural\nnetworks, which have zero representation error by design, can be effective\nnatural signal priors at inverse problems such as denoising, compressive\nsensing, and inpainting. Given a trained generative model, we study the\nempirical risk formulation of the desired inverse problem under a\nregularization that promotes high likelihood images, either directly by\npenalization or algorithmically by initialization. For compressive sensing,\ninvertible priors can yield higher accuracy than sparsity priors across almost\nall undersampling ratios, and due to their lack of representation error,\ninvertible priors can yield better reconstructions than GAN priors for images\nthat have rare features of variation within the biased training set, including\nout-of-distribution natural images. We additionally compare performance for\ncompressive sensing to unlearned methods, such as the deep decoder, and we\nestablish theoretical bounds on expected recovery error in the case of a linear\ninvertible model.\n

研究の動機と目的

• 可逆的生成モデルを imaging の逆問題に対するゼロ表現誤差の事前分布として用いる動機づけ。
• 可逆的事前分布のデノイジング、圧縮測定、インペインティングの性能を GAN および学習済みでない事前分布と比較評価する。
• ゼロ表現誤差によるデータセットのバイアス緩和と、分布外の画像に対する頑健性を示す。
• 圧縮感知における線形可逆生成器の復元誤差に関する理論的境界を提供する。

提案手法

• x = G(z) かつ z = G^{-1}(x) を用いた Glow ベースの事前訓練済み可逆生成器 G: R^n -> R^n を使用。
• 潜在空間最適化として逆問題を定式化する： (1) 潜在コード ||z||^2 の正則化とデータフィデリティを用いたデノイジング、(2) データフィデリティのみを用いた圧縮感知（gamma = 0）、初期値 z0 = 0。
• (2) を Glow のために L-BFGS、Deep Decoder、DCGAN、PGGAN には Adam を用いて解く； BM3D や sparsity-based priors と比較する。
• CelebA で Glow を訓練する；すべての逆問題に対して prior を固定する；本分布内データと分布外データセット（CelebA-HQ 対 FFHQ）を比較する。
• 線形可逆生成器の場合の理論解析を提供する：G の特異値に依存する復元誤差の期待値の境界を示す。

実験結果

リサーチクエスチョン

• RQ1 可逆的 priors は denoising、compressive sensing、inpainting の各領域で GAN priors および学習済みでない priors を上回る高品質な再構成を達成できるか。
• RQ2 可逆 priors はゼロ表現誤差によりデータセットのバイアスを緩和し、分布外画像に対しても有効であり続けるか。
• RQ3 圧縮感知の下で線形可逆生成モデルに関する理論的復元保証とは何か。

主な発見

• 適切に正則化された場合、可逆 priors は BM3D よりも高い PSNR を達成するシャープなデノイジングを示す。
• 分布内画像の圧縮感知において、Glow priors は DCGAN/PGGAN および Deep Decoder を幅広い欠測率の範囲で上回る。
• Glow priors は分布外画像での性能低下が緩やかであり、潜在次元が低い場合でも GAN に勝ることがあり、測定が十分な場合には Deep Decoder を上回ることもある。
• 線形可逆生成器の場合、測定数 m に対して復元誤差の期待二乗は、上位では特異値の非トップ成分の二乗和の和、下位では次の一連の特異値の二乗和の m 倍の境界の間にある、という理論的境界が確立された。
• データセットバイアスを持つGAN（例：CelebA で訓練された PGGAN）と比較して、Glow はバイアスを緩和し、トレーニングセット内で過小表現された特徴を回復できる。