[论文解读] Intermediate Layer Optimization for Inverse Problems using Deep Generative Models

Giannis Daras, Joseph Dean+2 more|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用 26

一句话总结

ILO 逐步优化中间生成层，以使用深度生成先验解决逆问题，相较于最先进方法提升重建质量。它提供理论误差界限，并在修复缺损、降噪、超分辨率和压缩感知等任务上取得广泛的实证胜利。

ABSTRACT

We propose Intermediate Layer Optimization (ILO), a novel optimization algorithm for solving inverse problems with deep generative models. Instead of optimizing only over the initial latent code, we progressively change the input layer obtaining successively more expressive generators. To explore the higher dimensional spaces, our method searches for latent codes that lie within a small $l_1$ ball around the manifold induced by the previous layer. Our theoretical analysis shows that by keeping the radius of the ball relatively small, we can improve the established error bound for compressed sensing with deep generative models. We empirically show that our approach outperforms state-of-the-art methods introduced in StyleGAN-2 and PULSE for a wide range of inverse problems including inpainting, denoising, super-resolution and compressed sensing.

研究动机与目标

• 以预训练的深度生成器作为先验来激励求解逆问题。
• 通过逐步优化中间层来扩展现有的生成器反演，以提升表达能力。
• 提供理论保证，显示在受限的潜在搜索下得到改进的误差界限。
• 在多样化任务（修复缺损、降噪、超分辨率、压缩感知）上，实证地展示 ILO 相较基线的优越性。
• 开源代码以促进可重复性和进一步研究。

提出的方法

• 将预训练生成器 G 分解为 G = G2 ∘ G1，并在 G1 的输入处优化潜在码，然后在 G2 的输入处逐步优化。
• 在每一轮中，在前一层诱导的流形周围的 l1-ball 内搜索潜在码，以控制真实感。
• 通过求解一个潜在映射步骤来最小化 ||G1(z^k) − z̃^p||，并将其重新投影回生成器范围以实现到生成器范围的投影。
• 使用带可微正向算子的梯度优化；对带定制化 l1-ball 投影的 PGD 进行应用。
• 理论分析给出样本复杂度界限，表明通过小的 l1-ball 扩展取值范围（扩展范围）可提高恢复保证。
• 通过使用映射网络（z 到 w）并探索多个中间层，结合正则化与损失函数选择（MSE、LPIPS，或二者的组合）来适配 StyleGAN-2 的具体实现。

实验结果

研究问题

• RQ1 在一类广泛的逆问题上，逐步优化中间生成层是否能够提升反演质量？
• RQ2 将潜在码搜索限制在前一层周围的小 l1-ball 内，如何影响样本复杂度和重建误差？
• RQ3 中间层优化是否将适用性扩展到超分辨率以外的任务，如修复缺损、降噪和使用深度先验的压缩感知？
• RQ4 将 ILO 与 StyleGAN-2 集成以处理高分辨率图像时的实际考虑因素与损失函数有哪些？
• RQ5 是否可以利用可微分前向算子（如分类器）来引导生成，以在保持真实感的同时产生目标或出分布图像？

主要发现

• ILO 在修复缺损、降噪、超分辨率和压缩感知实验中，一贯优于基于 CSGM 和 PULSE 的最先进方法。
• 理论结果显示，在有足够测量的情况下，将搜索限制在前一层流形周围的小 l1-ball 内可获得改进的误差界限。
• 在 CelebA-HQ 上的实证结果表明，在修复缺损（inpainting）任务中，针对 5–100% 观测像素，重建相较于基线提升了约 2×。
• ILO 获得更高的 PSNR/质量；在超分辨率的不同下采样因子下，重建优于 PULSE 和基于 CSGM 的变体。
• 该方法能够使用结构化测量（部分循环矩阵）进行高分辨率图像重建，并支持对抗鲁棒的分类器引导生成。
• 代码已开源，以促进可重复性和进一步的研究。