[论文解读] Learning to synthesize: splitting and recombining low and high spatial frequencies for image recovery

Mo Deng, Shuai Li+1 more|arXiv (Cornell University)|Nov 19, 2018

Digital Holography and Microscopy参考文献 39被引用 12

一句话总结

该论文提出LS-DNN，一种深度学习框架，通过两个专用DNN分别处理低频和高频分量，并利用第三个合成DNN重新平衡频谱内容。该方法通过缓解训练数据中高频分量代表性不足以及前向算子对高频分量的抑制，显著提升了图像恢复任务（如超分辨率和相位恢复）的视觉质量。

ABSTRACT

Deep Neural Network (DNN)-based image reconstruction, despite many successes, often exhibits uneven fidelity between high and low spatial frequency bands. In this paper we propose the Learning Synthesis by DNN (LS-DNN) approach where two DNNs process the low and high spatial frequencies, respectively, and, improving over [30], the two DNNs are trained separately and a third DNN combines them into an image with high fidelity at all bands. We demonstrate LS-DNN in two canonical inverse problems: super-resolution (SR) in diffraction-limited imaging (DLI), and quantitative phase retrieval (QPR). Our results also show comparable or improved performance over perceptual-loss based SR [21], and can be generalized to a wider range of image recovery problems.

研究动机与目标

• 解决基于深度学习的图像重建中，由于训练数据中高频分量代表性不足以及前向算子对高频分量的抑制，导致的频率失衡问题。
• 克服标准DNN因ImageNet等数据集中低频先验占主导而无法恢复精细细节的缺陷。
• 开发一种自适应合成低频与高频重建结果的方法，以同时恢复全局结构与精细纹理。
• 在典型反问题上验证该方法：衍射受限成像中的超分辨率与无透镜定量相位恢复。
• 即使在PSNR等定量指标较低的情况下，仍实现优于最先进感知损失和基于DualCNN方法的视觉质量。

提出的方法

• 使用频域分解将输入信号分离为低频（LF）和高频（HF）分量。
• 训练一个低频带DNN（DNN-L），从未经滤波的训练样本中重建LF分量，以保留自然的低频统计特性。
• 训练一个高频带DNN（DNN-H），从经过高通滤波的样本中重建HF分量，其中高频分量被增强以抵消其在数据集中稀缺的问题。
• 使用第三个DNN（DNN-S）学习DNN-L与DNN-H输出的最优融合，确保最终图像中频谱内容的平衡。
• 对DNN-H的训练数据应用频域预调制，以增强高频学习效果，同时避免引入伪影。
• 以像素级损失函数端到端联合训练三个网络，实现合成与重建保真度的联合优化。

实验结果

研究问题

• RQ1 当训练数据中高频分量代表性不足时，是否通过在DNN中分离处理低频与高频分量，能够提升图像重建保真度？
• RQ2 通过学习的合成网络（DNN-S）是否能有效重新平衡频谱内容，以同时恢复全局结构与精细细节？
• RQ3 在超分辨率任务中，LS-DNN与基于感知损失的方法相比，其视觉质量表现如何？
• RQ4 LS-DNN是否能在保持更好视觉真实感和减少伪影的前提下，优于DualCNN的图像恢复性能？
• RQ5 对训练数据进行频域预处理在多大程度上能提升高频分量恢复效果，同时避免引入噪声或振铃效应？

主要发现

• 在超分辨率和定量相位恢复任务中，LS-DNN的重建结果在视觉质量上显著优于基于感知损失的方法，即使PSNR指标较低。
• DNN-S合成网络生成的功率谱密度（PSD）曲线在所有空间频率上均与真实值高度吻合，优于单独使用DNN-L或DNN-H。
• 在4×超分辨率任务中，LS-DNN生成的图像更锐利，对精细纹理的保持优于DualCNN，尽管DualCNN的PSNR更高（24.57 vs. 22.42）。
• 该方法有效缓解了衍射受限成像中前向算子硬截止导致的高频分量丢失问题。
• 与仅使用频谱预调制相比，LS-DNN的重建结果表现出更少的高频伪影，表明DNN-S实现了有效的频谱平衡。
• 该方法在多种反问题中具有良好的泛化能力，尤其适用于前向算子抑制高频分量且训练数据缺乏足够高频内容的场景。