[論文レビュー] Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees

Viraj Shah, Chinmay Hegde|arXiv (Cornell University)|Feb 23, 2018

Sparse and Compressive Sensing Techniques参考文献 31被引用数 14

ひとこと要約

本稿では、圧縮センシングなどの線形逆問題を解くために、訓練済みのGANを事前分布として用いるProjected Gradient Descent (PGD)アルゴリズムを提案し、収束保証を明示的に示している。この手法は、アンビエント空間における勾配降下を繰り返し、その後にGANが生成する多様体上への射影を適用することで、従来の学習ベース手法よりも優れた再構成精度を達成し、理論的な収束速度を有する。

ABSTRACT

In recent works, both sparsity-based methods as well as learning-based methods have proven to be successful in solving several challenging linear inverse problems. However, sparsity priors for natural signals and images suffer from poor discriminative capability, while learning-based methods seldom provide concrete theoretical guarantees. In this work, we advocate the idea of replacing hand-crafted priors, such as sparsity, with a Generative Adversarial Network (GAN) to solve linear inverse problems such as compressive sensing. In particular, we propose a projected gradient descent (PGD) algorithm for effective use of GAN priors for linear inverse problems, and also provide theoretical guarantees on the rate of convergence of this algorithm. Moreover, we show empirically that our algorithm demonstrates superior performance over an existing method of leveraging GANs for compressive sensing.

研究の動機と目的

• 自然画像に対して特徴量のスパarsityに基づく事前分布が持つ識別力の欠如を是正するため。
• GAN事前分布を用いる既存の学習ベースの逆問題ソルバに見られる理論的収束保証の欠如を克服するため。
• 線形逆問題（例：圧縮センシングや画像再構成）におけるGANを事前分布として用いる、原理的かつ収束保証付きのアルゴリズムを開発するため。
• アンビエント空間におけるPGDとGANベースの射影が、潜在空間における確率的勾配降下よりも優れた性能を示すことを実証するため。

提案手法

• アルゴリズムは、アンビエント信号空間におけるProjected Gradient Descent (PGD) を用い、勾配降下ステップと、訓練済みの生成器ネットワークGの出力範囲への射影ステップを交互に繰り返す。
• 射影ステップにより、反復計算の各ステップがGANがモデル化する自然な画像の多様体内に留まることが保証される。
• 生成器Gが真のデータ分布をよく近似すると仮定し、有界な作用素ノルムと類似する制限等長性条件の下で理論的収束速度を導出する。
• 適切な学習率および作用素ノルム制約のもとで、収束率がα < 1の線形収束を示すことが示された。
• アルゴリズムは固定された総更新ステップ数で実装され、ランダムリスタートを回避しており、先行研究における潜在空間最適化と比較されている。
• 理論的分析は、潜在関数ψ(x)と反復間での目的関数値の差の上限に依存し、AおよびGのリプシッツ性を活用している。

実験結果

リサーチクエスチョン

• RQ1 アンビエント空間におけるPGDベースのアルゴリズムが、GAN事前分布を用いた線形逆問題に対して収束保証を有するか。
• RQ2 アンビエント空間PGDの性能は、確率的勾配降下を用いた潜在空間最適化と比較して、再構成精度および収束安定性において優れているか。
• RQ3 測定作用素と生成器の品質に関する現実的な仮定のもとで、GAN事前分布を用いた逆問題ソルバの理論的収束速度はどの程度達成可能か。
• RQ4 真の信号がGANのサポート上に正確に存在しない場合でも、その近くにあれば、提案手法は依然として有効に機能するか。

主な発見

• GAN事前分布を用いたPGDアルゴリズムは、[17]で提示された潜在空間最適化手法よりも顕著に低い再構成誤差を達成しており、特に測定数が限られた場合に顕著である。
• GANのサポートに属するMNIST画像に対して100回の測定を実施した場合、再構成誤差はほぼゼロに近づき、有利な条件下でほぼ完全な回復が達成された。
• 事前学習済みDCGANを用いたCelebAデータセットにおいて、m=1000の測定数でPGD-GAN手法は、ベースライン手法よりもはっきりとシャープで正確な再構成を生成した。
• 理論的分析により、適切な学習率および作用素ノルム制約のもとで、収束率がα < 1の線形収束であることが証明され、安定的かつ高速な収束が保証された。
• 明示的な射影ステップのおかげで、局所最適解に陥りにくく、ランダムリスタートに依存する必要が少なくなった。
• 収束率は測定数mの逆数に比例し、δ（ノイズ関連項）はmが増加するにつれて減少するため、本手法のロバスト性が裏付けられた。