[论文解读] PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging

Xin Cai, Zhiyuan You+4 more|arXiv (Cornell University)|Sep 26, 2024

Photoacoustic and Ultrasonic Imaging被引用 4

一句话总结

PhoCoLens 提出了一种两阶段无透镜图像重建方法，结合了空间可变去卷积以实现数据一致性的低频内容恢复，以及基于扩散模型的零空间精细化处理以生成逼真的高频细节。该方法在 PhlatCam 和 DiffuserCam 数据集上均实现了最先进的保真度与视觉质量表现，在 PSNR、SSIM 和 LPIPS 指标上优于以往方法。

ABSTRACT

Lensless cameras offer significant advantages in size, weight, and cost compared to traditional lens-based systems. Without a focusing lens, lensless cameras rely on computational algorithms to recover the scenes from multiplexed measurements. However, current algorithms struggle with inaccurate forward imaging models and insufficient priors to reconstruct high-quality images. To overcome these limitations, we introduce a novel two-stage approach for consistent and photorealistic lensless image reconstruction. The first stage of our approach ensures data consistency by focusing on accurately reconstructing the low-frequency content with a spatially varying deconvolution method that adjusts to changes in the Point Spread Function (PSF) across the camera's field of view. The second stage enhances photorealism by incorporating a generative prior from pre-trained diffusion models. By conditioning on the low-frequency content retrieved in the first stage, the diffusion model effectively reconstructs the high-frequency details that are typically lost in the lensless imaging process, while also maintaining image fidelity. Our method achieves a superior balance between data fidelity and visual quality compared to existing methods, as demonstrated with two popular lensless systems, PhlatCam and DiffuserCam. Project website: https://phocolens.github.io/.

研究动机与目标

• 为解决无透镜图像重建中逼真度与数据一致性之间的权衡问题。
• 通过精确建模相机视场内空间可变的点扩散函数（PSFs），提升重建保真度。
• 通过使用微调的扩散模型，基于低频内容恢复在无透镜成像中丢失的高频细节，从而提升视觉质量。
• 通过两阶段框架确保与真实值的一致性，同时实现逼真的结果。
• 克服现有方法的局限性，这些方法要么牺牲保真度（如生成模型），要么牺牲视觉质量（如传统去卷积）。

提出的方法

• 该方法采用两阶段框架：首先，通过数据驱动的、与 PSF 自适应的核进行空间可变去卷积，重建范围空间分量（低频内容），以提升一致性。
• 第二阶段使用预训练的扩散模型，从零空间恢复高频细节，条件于第一阶段的输出以保持保真度。
• 空间可变去卷积经过训练，可适应视场内 PSF 的变化，从而在准确性上优于平移不变模型。
• 扩散模型以重建的低频图像为条件，引导真实纹理的生成，同时保持与测量结果的一致性。
• 采用监督训练策略，确保最终输出在数据一致性和视觉真实感之间取得平衡。
• 该框架在两种无透镜系统（PhlatCam 和 DiffuserCam）上进行评估，使用 PSNR、SSIM 和 LPIPS 等标准指标。

Figure 1 : We introduce PhoCoLens, a lensless reconstruction algorithm that achieves both better visual quality and consistency to the ground truth than existing methods. Our method recovers more details compared to traditional reconstruction algorithms (b) and (c), and also maintains better fidelit

实验结果

研究问题

• RQ1 两阶段无透镜重建框架是否能同时实现高度逼真与与真实值的强一致性？
• RQ2 与平移不变 PSF 模型相比，空间可变去卷积在多大程度上提升了重建保真度？
• RQ3 在不引入伪影的前提下，基于低频内容条件的扩散模型能在多大程度上恢复逼真的高频细节？
• RQ4 与替代条件（如 WienerDeconv、FlatNet-gen 和 SVD-OC）相比，使用第一阶段输出作为扩散模型条件是否显著提升了结果一致性？
• RQ5 在真实无透镜成像数据上，PhoCoLens 在 PSNR、SSIM 和 LPIPS 指标上与最先进方法相比表现如何？

主要发现

• 在 PhlatCam 数据集上，PhoCoLens 实现了 22.07 的 PSNR、0.601 的 SSIM 和 0.215 的 LPIPS，所有基线方法在零空间恢复方面均表现逊色。
• 在 DiffuserCam 数据集上，PhoCoLens 实现了 24.12 的 PSNR、0.748 的 SSIM 和 0.161 的 LPIPS，展现出更优的保真度与视觉质量。
• 消融研究证实，将第一阶段重建结果作为扩散模型的条件，显著提升了结果一致性，优于 WienerDeconv、FlatNet-gen 和 SVD-OC 的条件设置。
• 空间可变去卷积（SVDeconv）在 PhlatCam 的范围空间重建中实现了 26.97 的 PSNR 和 0.894 的 SSIM，优于平移不变方法。
• 该方法在边缘区域表现尤为突出，这些区域 PSF 变化最为显著，如图 8 所示，白色虚线圆圈区域的细节恢复显著增强。
• 定量评估表明，PhoCoLens 在保真度与真实感之间实现了最佳平衡，所有对比方法中 PSNR 和 SSIM 分数最高，LPIPS 最低。

Figure 2 : Comparison between results without (left) and with (right) our spatially varying deconvolution.