[論文レビュー] When and How Can Deep Generative Models be Inverted?

Aviad Aberdam, Dror Simon+1 more|arXiv (Cornell University)|Jun 28, 2020

Underwater Acoustics Research参考文献 27被引用数 7

ひとこと要約

本稿では、スパース表現理論を用いて理論的裏付けのある階層的逆問題手法を、深層生成モデル（例：GAN、VAE）に対して提案する。この手法により、信号から潜在ベクトルの再構成が証明可能に行える。Latent-Pursuitアルゴリズムを導入し、勾配降下法よりも再構成およびインpaintingタスクで優れた性能を示す。入力が汚染されていても、ランダムな重みに依存せずに一般条件下で一意な解を保証する。

ABSTRACT

Deep generative models (e.g. GANs and VAEs) have been developed quite extensively in recent years. Lately, there has been an increased interest in the inversion of such a model, i.e. given a (possibly corrupted) signal, we wish to recover the latent vector that generated it. Building upon sparse representation theory, we define conditions that are applicable to any inversion algorithm (gradient descent, deep encoder, etc.), under which such generative models are invertible with a unique solution. Importantly, the proposed analysis is applicable to any trained model, and does not depend on Gaussian i.i.d. weights. Furthermore, we introduce two layer-wise inversion pursuit algorithms for trained generative networks of arbitrary depth, and accompany these with recovery guarantees. Finally, we validate our theoretical results numerically and show that our method outperforms gradient descent when inverting such generators, both for clean and corrupted signals.

研究の動機と目的

• 任意の逆問題アルゴリズムに依存しない一般理論的条件下で、深層生成モデルが一意な解を有する逆問題として可逆である条件を確立すること。
• 訓練済みの全結合生成ネットワークに対して、証明可能に正しい階層的逆問題アルゴリズムを構築し、ノイズなしおよびノイズありの両設定で保証された性能を達成すること。
• 実験的に、提案手法がクリーンおよび汚染された信号において、再構成精度および耐障害性の面で勾配降下法を上回ることを示すこと。
• i.i.d. ガウス分布の重みや生成器の滑らかさの仮定に依存しない、逆問題の理論的保証を提供すること。これにより、先行研究を拡張する。

提案手法

• 本手法は、生成信号と観測信号のL2距離を最小化する逆問題として定式化する。すなわち、$\min_{\mathbf{z}} \frac{1}{2}\|G(\mathbf{z}) - \mathbf{y}\|_2^2$。
• スパース表現理論を活用し、各隠れ層をスパースベクトルと重み行列の積としてモデル化し、ReLU活性化関数を適用する。
• 基底 Pursuit Denoising (BPDN) を用いて階層的逆問題を解き、スパース表現を回復する。その後、推定値を精緻化するためのデバイアス補正ステップを実施する。
• ノイズなしおよびノイズありの両ケースに対して、重み行列のスパークとスパース制約に依存する回復保証を導出する。
• 出力層から潜在空間へと順方向とは逆方向に繰り返し適用することで、各層間の一貫性を保証する。
• 本手法はLatent-Pursuitアルゴリズムとして実装され、デバイアス補正には $\rho = 10^{-2}$ と10,000回の反復を用い、固定された $\ell_2$-正則化最適化フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 どのような一般的条件下で、深層生成モデルが逆問題として一意な解を有するか。これは逆問題アルゴリズムに依存しない。
• RQ2 ノイズなしおよびノイズありの両設定において、潜在ベクトルを証明可能に回復できる階層的逆問題アルゴリズムを構築できるか。
• RQ3 再構成精度および信号の破損に対する耐障害性の観点から、提案手法と勾配降下法の性能はどのように比較されるか。
• RQ4 生成器のi.i.d. ガウス分布の重みや滑らかさの仮定に依存しない、逆問題の理論的保証を確立できるか。

主な発見

• Latent-Pursuitアルゴリズムは、真のサポートを知っているオракルに近い再構成誤差を達成し、勾配降下法を著しく上回る。
• 勾配降下法は多くの再構成タスクで完全に失敗するが、特に入力が汚染されている場合に、Latent-Pursuitは高い精度を維持する。
• クリーンおよびマスキングによるインpainting実験の両方において、全層にわたり平均的に、Latent-Pursuitは勾配降下法よりも低い再構成誤差を達成する。
• 1枚の画像あたり約75秒で、Nvidia 1080Ti GPU上で収束し、わずかに長い実行時間であるが、再構成精度において勾配降下法を上回る。
• 45％のランダムマスキングまたは半分の画像マスキングを施した画像インpaintingにおいて、Latent-Pursuitは画像および隠れ表現を正常に再構成するが、勾配降下法は頻繁に失敗する。
• 理論的分析が保証するように、ノイズありの場合でも推定誤差が有界であることが示され、ノイズおよび信号の破損に対して強い耐性を示す。