[論文レビュー] Precise Recovery of Latent Vectors from Generative Adversarial Networks

Zachary C. Lipton, Subarna Tripathi|arXiv (Cornell University)|Feb 15, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 94

ひとこと要約

この論文は、確率的クリッピングを伴う勾配ベースの反転法を提案し、GANから潜在ベクトルを任意の高精度で復元でき、ノイズに強く、未知の画像に対しても一意性があるように見える。

ABSTRACT

Generative adversarial networks (GANs) transform latent vectors into visually plausible images. It is generally thought that the original GAN formulation gives no out-of-the-box method to reverse the mapping, projecting images back into latent space. We introduce a simple, gradient-based technique called stochastic clipping. In experiments, for images generated by the GAN, we precisely recover their latent vector pre-images 100% of the time. Additional experiments demonstrate that this method is robust to noise. Finally, we show that even for unseen images, our method appears to recover unique encodings.

研究の動機と目的

• 実際にはGANジェネレータを任意の精度で反転できることを示す。
• 追加ノイズに対する再構成の頑健性を示す。
• 未知の画像に対して回収された潜在エンコーディングが一意かどうかを調べる。

提案手法

• 潜在空間で ||phi(z) - phi(z')||^2 を最小化する最適化を定義する。
• 画像空間の再構成誤差を最小化するため、減衰する学習率で z' を更新する勾配降下法を用いる。
• 潜在制約を [-1,1] へのクリッピングで強制し、境界に捕らわれる解を避けるため確率的クリッピングを導入する。
• 再構成精度において標準クリッピング、クリッピングなし、確率的クリッピングを比較する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの最適化は元の潜在ベクトルを再構成誤差ゼロで復元できるか？
• RQ2 ある画像に対して、複数の試行において回収された潜在ベクトルは一意か？
• RQ3 画像に追加されたノイズに対して再構成はどの程度頑健か？

主な発見

技法	10^-4	10^-3	10^-2	10^-1
クリッピングなし	0.98	0.986	0.998	1.0
標準クリッピング	0.984	0.99	1.0	1.0
確率的クリッピング	1.0	1.0	1.0	1.0

• 確率的クリッピングは全ての閾値で1000回の試行において100%の厳密再構成を達成する（|z - z'|^2/100 < epsilon）。
• 標準クリッピングとクリッピングなしも高い性能だが、確率的クリッピングは閾値を問わず一貫して厳密である。
• ガウシアンノイズを画像に追加しても再構成は正確さを保ち、z-spaceの誤差は追加ノイズに比例して増加する。
• 未知の画像に対して、回収されたエンコーディングはランダムな潜在ベクトルと比較して非常に近く、エンコーディングのほぼ一意性を示唆している。