[論文レビュー] Correction by Projection: Denoising Images with Generative Adversarial Networks

Subarna Tripathi, Zachary C. Lipton+1 more|arXiv (Cornell University)|Mar 12, 2018

Image and Signal Denoising Methods参考文献 16被引用数 44

ひとこと要約

本論文はGAN多様体へ投影して潜在コードを復元することで画像のノイズ除去を行い、ノイズ分散事前知識を必要とせずBM3DよりPSNRが優れることを示し、潜在空間のシャープネス属性を用いたさらなる改善を示す。

ABSTRACT

Generative adversarial networks (GANs) transform low-dimensional latent vectors into visually plausible images. If the real dataset contains only clean images, then ostensibly, the manifold learned by the GAN should contain only clean images. In this paper, we propose to denoise corrupted images by finding the nearest point on the GAN manifold, recovering latent vectors by minimizing distances in image space. We first demonstrate that given a corrupted version of an image that truly lies on the GAN manifold, we can approximately recover the latent vector and denoise the image, obtaining significantly higher quality, comparing with BM3D. Next, we demonstrate that latent vectors recovered from noisy images exhibit a consistent bias. By subtracting this bias before projecting back to image space, we improve denoising results even further. Finally, even for unseen images, our method performs better at denoising better than BM3D. Notably, the basic version of our method (without bias correction) requires no prior knowledge on the noise variance. To achieve the highest possible denoising quality, the best performing signal processing based methods, such as BM3D, require an estimate of the blur kernel.

研究の動機と目的

• 学習済み画像多様体への投影を用いたGANからの潜在コード回復によるノイズ除去の動機付け。
• ノイズを含む画像から潜在ベクトルを回復することが、BM3Dなど従来法より高品質なノイズ除去をもたらすことを示す。
• ノイズ除去を改善するための回復された潜在ベクトルのバias補正を調査する。
• 生成画像以外の実画像および未知画像に対するノイズ除去性能を示す。
• 潜在空間属性（シャープネス）がノイズ除去品質をさらに高めるかを検討する。

提案手法

• ノイズ除去を、z' in [-1,1]^100 に対して ||phi(z) - phi(z')||^2_2 を最小化する問題として定式化する。
• 潜在ベクトルを回復するために、クリッピング付き勾配降下法（クリッピングなし、射影勾配、確率的クリッピング）を用いる。
• 潜在空間の制約を課すために確率的クリッピングを適用し、PSNRを改善する。
• ノイズ分散を横断して潜在ベクトルを解析し、回復ベクトルにこの属性（LVR-SA）を付与してシャープネス属性を導入する。
• CelebAおよびLFW由来の画像（Gaussianノイズを付加）と実 CelebA 画像で評価する。

実験結果

リサーチクエスチョン

• RQ1 劣化画像からの潜在ベクトル回復は、BM3Dを上回るノイズ除去画像を生み出すことができるか？
• RQ2 確率的クリッピングは、素朴な勾配更新より潜在ベクトル回復を改善するか？
• RQ3 潜在空間シャープネス属性は、生成画像と実画像の両方に対してノイズ除去品質をさらに高めるか？
• RQ4 訓練GANには含まれていない未知の画像に対しても、ノイズ除去フレームワークは有効か？

主な発見

ノイズ分散（sigma）	BM3D PSNR	LVR PSNR	LVR-SA PSNR
127	29.10	33.40	33.60
184	18.55	22.00	22.21

• 潜在ベクトル回復（LVR）によるノイズ除去は、壊れた画像に対してBM3Dより高いPSNRを達成する。
• 確率的クリッピングは、クリッピングなしおよび射影勾配よりも高いPSNRをもたらす（約1 dB向上）。
• シャープネス属性（LVR-SA）を追加すると、生成画像と実画像の両方でLVRよりさらにPSNRが向上する。
• 高ノイズ分散の場合でも、明示的なノイズ分散知識がなくても、LVRおよびLVR-SAはBM3Dに対するノイズ除去優位性を維持する。
• ノイズ分散が127の生成データでは、LVR: 33.40 dB、LVR-SA: 33.60 dB、BM3D: 29.10 dB；分散が184では、LVR: 22.0 dB、LVR-SA: 22.21 dB、BM3D: 18.55 dB。
• この方法は、訓練分布を超える未知画像に対しても優れたノイズ除去品質を示す。