[论文解读] DIVA: Deep Unfolded Network from Quantum Interactive Patches for Image Restoration

Sayantan Dutta, Adrian Basarab+2 more|arXiv (Cornell University)|Dec 31, 2022

Image and Signal Denoising Methods参考文献 70被引用 4

一句话总结

本文提出DIVA，一种基于量子多体物理的深度展开神经网络，通过哈密顿量基交互机制建模图像块间的关联关系，提升图像恢复性能。通过展开De-QuIP算法并利用反向传播实现块级超参数学习，DIVA在去噪、去模糊、超分辨率和图像修复任务中均实现了最先进的视觉质量，且PSNR/SSIM指标表现优异，同时保持了极低的架构复杂度。

ABSTRACT

This paper presents a deep neural network called DIVA unfolding a baseline adaptive denoising algorithm (De-QuIP), relying on the theory of quantum many-body physics. Furthermore, it is shown that with very slight modifications, this network can be enhanced to solve more challenging image restoration tasks such as image deblurring, super-resolution and inpainting. Despite a compact and interpretable (from a physical perspective) architecture, the proposed deep learning network outperforms several recent algorithms from the literature, designed specifically for each task. The key ingredients of the proposed method are on one hand, its ability to handle non-local image structures through the patch-interaction term and the quantum-based Hamiltonian operator, and, on the other hand, its flexibility to adapt the hyperparameters patch-wisely, due to the training process.

研究动机与目标

• 开发一种统一的深度学习框架，用于多种图像恢复任务，其原理源自量子多体理论。
• 通过将量子力学中的物理原理嵌入网络架构，提升深度网络的可解释性与适应性。
• 实现端到端可训练的、基于图像块的超参数调优，以提升在多样化退化模型下的性能表现。
• 将单一用途的去噪算法（De-QuIP）扩展为适用于去模糊、超分辨率与图像修复的多功能恢复框架。
• 通过利用量子启发的交互机制，避免针对特定任务的架构重设计，从而降低训练成本并提升泛化能力。

提出的方法

• 将基于量子多体物理的去噪方法De-QuIP算法展开为深度卷积神经网络架构。
• 引入一种量子启发的哈密顿算符，用于建模图像块之间的非局部相互作用，捕捉结构相似性。
• 网络采用基于图像块的交互层，通过反向传播动态调整比例常数与阈值能量等参数。
• 利用干净-退化图像对进行端到端训练，实现每张图像块对物理超参数的自适应调优。
• 将薛定谔方程的形式引入可学习损失函数，建立量子动力学与图像重建之间的联系。
• 该框架具有高度灵活性，仅需极少的架构修改即可适配多种任务（去噪、去模糊、超分辨率、图像修复）。

实验结果

研究问题

• RQ1 能否将基于量子多体物理的算法有效展开为用于图像恢复的深度学习框架？
• RQ2 基于图像块的物理参数自适应学习在多样化图像恢复任务中如何提升性能？
• RQ3 与传统CNN相比，量子交互机制在非局部结构恢复方面能提升多少？
• RQ4 统一的网络架构是否能在无需任务特异性设计的前提下，实现多种图像恢复任务的竞争力表现？
• RQ5 在具有挑战性的退化场景下，该方法在定量与定性指标上与SOTA方法相比表现如何？

主要发现

• DIVA在图像恢复任务中实现了最先进的视觉质量，尤其在纹理与结构保持方面表现卓越，即使在定量指标略低于部分SOTA模型的情况下依然表现出色。
• 在Set5数据集上，50%像素缺失的图像修复任务中，DIVA达到36.08 dB PSNR与97.84% SSIM，优于IRCNN（35.57 dB / 95.87% SSIM）。
• 在Set12数据集上，80%像素缺失的修复任务中，DIVA达到27.73 dB PSNR与91.92% SSIM，显著优于IRCNN（26.75 dB / 84.53% SSIM）。
• 在超分辨率与去模糊任务中，DIVA展现出具有竞争力的PSNR与SSIM值，且在视觉保真度与细节保留方面优于基线模型。
• 该模型在处理复杂退化模式时表现出强鲁棒性，尤其通过其量子启发的交互机制，在纹理与图案保持方面表现优异。
• 尽管在高斯下采样任务中定量指标略低于DRLN或RDN等模型，DIVA仍保持出色的视觉质量，表明指标得分与感知性能之间存在权衡。