[论文解读] MetaDIP: Accelerating Deep Image Prior with Meta Learning

Kevin Zhang, Mingyang Xie+4 more|arXiv (Cornell University)|Sep 18, 2022

Advanced X-ray Imaging Techniques被引用 9

一句话总结

MetaDIP 通过使用元学习学习最优网络权重初始化，加速了图像逆问题中的深度图像先验（DIP），在去噪、压缩感知和压缩相位恢复任务中，将运行时间减少高达10倍，同时保持了具有竞争力的性能。该方法在不同任务和数据分布间具有良好的泛化能力，无需微调即可实现快速、准确的重建。

ABSTRACT

Deep image prior (DIP) is a recently proposed technique for solving imaging inverse problems by fitting the reconstructed images to the output of an untrained convolutional neural network. Unlike pretrained feedforward neural networks, the same DIP can generalize to arbitrary inverse problems, from denoising to phase retrieval, while offering competitive performance at each task. The central disadvantage of DIP is that, while feedforward neural networks can reconstruct an image in a single pass, DIP must gradually update its weights over hundreds to thousands of iterations, at a significant computational cost. In this work we use meta-learning to massively accelerate DIP-based reconstructions. By learning a proper initialization for the DIP weights, we demonstrate a 10x improvement in runtimes across a range of inverse imaging tasks. Moreover, we demonstrate that a network trained to quickly reconstruct faces also generalizes to reconstructing natural image patches.

研究动机与目标

• 为解决深度图像先验（DIP）的高计算成本问题，其每次重建需要数百至数千轮优化迭代。
• 通过元学习学习一种任务无关且类别无关的初始化，以加速基于DIP的图像重建。
• 实现在去噪、压缩感知和压缩相位恢复等多样化图像逆问题中快速、准确且可泛化的重建。
• 证明在一种数据分布（如人脸）上训练的元学习初始化，可有效泛化到其他数据分布（如自然图像块）。
• 在性能上与最先进插件式（plug-and-play）方法相当，同时显著更快且更易调参。

提出的方法

• MetaDIP 采用模型无关元学习（MAML）来学习DIP网络权重的最优初始化，从而在新图像逆问题上实现快速收敛。
• 该方法在使用CelebA人脸数据集的去噪任务分布上进行训练，以学习一种可泛化到不同图像逆问题的元初始化。
• 元学习得到的初始化应用于DIP网络后无需进一步微调，即可通过梯度下降在新测量数据上实现快速优化。
• DIP 架构采用全卷积神经网络，输入为随机潜在代码，通过优化网络权重使输出匹配观测到的测量数据来实现图像重建。
• 优化目标为最小化测量数据与网络输出之间的L2损失：$ \theta^{*} = \min_{\theta} ||M(f_{\theta}(z)) - y||_2^2 $。
• 通过在不同任务（去噪、压缩感知、相位恢复）和不同数据（人脸、自然图像块）上评估泛化性能，验证了元初始化的可迁移性。

实验结果

研究问题

• RQ1 是否可以使用元学习在多种图像逆问题上加速基于DIP的图像重建，且额外计算开销极小？
• RQ2 在人脸去噪上训练的元学习初始化，是否能有效泛化到自然图像块的重建？
• RQ3 在压缩感知和相位恢复任务中，MetaDIP 与原始DIP及最先进插件式方法相比，在速度和准确性方面表现如何？
• RQ4 单一元初始化是否能在包括压缩相位恢复在内的线性和非线性图像逆问题中实现具有竞争力的性能？
• RQ5 当测试数据分布与训练分布不同时，元学习初始化是否依然具备鲁棒性和有效性？

主要发现

• 与标准DIP相比，MetaDIP将DIP推理时间减少了高达10倍，128×128图像块的重建时间可控制在2秒以内。
• 在 $ m/n = 1/4 $ 的压缩感知任务中，MetaDIP在人脸图像上达到29.0 dB PSNR，在自然图像上达到28.3 dB，优于MetaSIREN，且与原始DIP性能相当，但速度显著更快。
• 在 $ m/n = 1/4 $ 的压缩相位恢复任务中，MetaDIP在人脸图像上达到29.8 dB PSNR，在自然图像上达到28.7 dB，分别优于MetaSIREN 2.4 dB和3.1 dB，且比原始DIP快10倍。
• 在人脸数据上训练的元学习初始化可有效泛化到自然图像块，在压缩感知中达到28.3 dB PSNR，在相位恢复中达到28.7 dB PSNR。
• MetaDIP在性能上与使用DRUNet（最先进方法）的PnP ADMM相当，但速度更快且更易调参，在相位恢复任务中运行时间比PnP ADMM + DRUNet快2倍。
• MetaDIP展现出强大的泛化能力：在去噪任务上训练的单一元初始化，即可在多种图像逆问题和数据分布上实现快速且准确的重建。