[論文レビュー] Conditional Sampling from Invertible Generative Models with Applications to Inverse Problems

Erik Lindgren, Jay Whang+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本論文は、不確実性を考慮した圧縮センシングのための可逆的生成モデルからの条件付きサンプリングにための変分的手法を提案する。与えられた可逆的事前分布と新しい生成モデルを合成することで、低次元の測定値が与えられた場合に、事後分布からの高速かつ高品質なサンプリングが可能となり、逆問題におけるサンプル効率と不確実性の定量化が顕著に向上する。

ABSTRACT

We consider uncertainty aware compressive sensing when the prior distribution is defined by an invertible generative model. In this problem, we receive a set of low dimensional measurements and we want to generate conditional samples of high dimensional objects conditioned on these measurements. We first show that the conditional sampling problem is hard in general, and thus we consider approximations to the problem. We develop a variational approach to conditional sampling that composes a new generative model with the given generative model. This allows us to utilize the sampling ability of the given generative model to quickly generate samples from the conditional distribution.

研究の動機と目的

• 可逆的生成モデルによって定義された事前分布がある場合の不確実性を考慮した圧縮センシングに対処すること。
• 低次元の測定値が与えられた場合の高次元の条件付きサンプルの生成という課題に取り組むこと。
• この設定における計算不能な条件付きサンプリング問題に対する効率的な近似を構築すること。
• 可逆的事前分布のサンプリング機能を活用して、実用的でスケーラブルな推論手法を構築すること。

提案手法

• 可逆的事前分布の下で低次元の測定値が与えられた場合の事後分布推論として、条件付きサンプリング問題を定式化すること。
• 合成生成モデルを用いて真の事後分布の変分近似を提案すること。
• 可逆的事前分布と条件付きフローを合成して、事後分布をモデル化する新しい生成モデルを構築すること。
• 変分推論を用いてエビデンス下界（ELBO）を最小化するように、合成モデルをエンドツーエンドで訓練すること。
• 元の生成モデルの可逆性を活用して、条件付き分布からの効率的なサンプリングを可能にすること。
• 推論中に反復的サンプリングや最適化を回避することで、計算効率を確保すること。

実験結果

リサーチクエスチョン

• RQ1 可逆的生成モデルによって定義された事前分布がある場合、低次元の測定値が与えられたときに、高次元のサンプルを効率的に生成できるか。
• RQ2 高価なサンプリング手法に依存せずに、この設定における計算不能な事後分布をどのように近似できるか。
• RQ3 提案された変分的手法の性能は、サンプル品質と不確実性の定量化の観点でどの程度か。
• RQ4 計算効率を維持したまま、高次元の逆問題にスケーリング可能か。

主な発見

• 提案手法により、可逆的事前分布のサンプリング機能を活用して、事後分布からの高速かつスケーラブルな条件付きサンプリングが可能となった。
• 変分近似により、そうでなければ計算不能な条件付きサンプリング問題に対する取り扱い可能な効率的解決策が得られた。
• 合成生成モデルは事後の構造を効果的に捉えており、高品質な条件付きサンプルを生成した。
• 標準的なベースラインと比較して、圧縮センシングにおける不確実性の定量化が向上した。
• 反復的精錬や最適化ステップを回避しているため、条件付き分布からのサンプリングは計算的に効率的である。
• このアプローチは一般性があり、可逆的生成モデル事前分布が利用可能な多様な逆問題に適用可能である。