[论文解读] ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Random Measurements

Kuldeep Kulkarni, Suhas Lohit+3 more|arXiv (Cornell University)|Jan 26, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用 40

一句话总结

该论文提出ReconNet，一种非迭代卷积神经网络（CNN），通过学习从压缩感知（CS）测量值到中间重建结果的直接映射，再利用现成的去噪器对结果进行优化，从而实现图像重建。该方法在1%测量率（0.01 MR）下实现了最先进的PSNR性能和实时性能，支持鲁棒的视觉跟踪。

ABSTRACT

The goal of this paper is to present a non-iterative and more importantly an extremely fast algorithm to reconstruct images from compressively sensed (CS) random measurements. To this end, we propose a novel convolutional neural network (CNN) architecture which takes in CS measurements of an image as input and outputs an intermediate reconstruction. We call this network, ReconNet. The intermediate reconstruction is fed into an off-the-shelf denoiser to obtain the final reconstructed image. On a standard dataset of images we show significant improvements in reconstruction results (both in terms of PSNR and time complexity) over state-of-the-art iterative CS reconstruction algorithms at various measurement rates. Further, through qualitative experiments on real data collected using our block single pixel camera (SPC), we show that our network is highly robust to sensor noise and can recover visually better quality images than competitive algorithms at extremely low sensing rates of 0.1 and 0.04. To demonstrate that our algorithm can recover semantically informative images even at a low measurement rate of 0.01, we present a very robust proof of concept real-time visual tracking application.

研究动机与目标

• 开发一种非迭代、计算高效的压缩感知（CS）图像重建算法，以绕过耗时的优化方法。
• 实现在极低测量率（例如0.01）下的高质量图像重建，此时传统CS算法在高层视觉任务中已失效。
• 证明CS重建结果可保留足够的语义信息，以支持实时高层视觉应用（如目标跟踪）。
• 通过真实块单像素相机（SPC）采集的数据，验证方法对传感器噪声的鲁棒性。

提出的方法

• 提出一种新型CNN架构ReconNet，用于将压缩感知的图像块（例如33×33）直接映射到中间重建结果，基于随机投影。
• 采用基于块的处理策略：将输入的CS测量值划分为非重叠块，每个块由ReconNet独立重建。
• 将各块的ReconNet输出结果组合成完整图像，再使用现成的去噪器（如BM3D）进行去噪，以提升最终质量。
• 在模拟CS测量数据上训练ReconNet，使用正交化的随机高斯矩阵，在多种测量率（MR）下进行训练，包括0.1、0.04和0.01。
• 利用真实世界的块SPC实验平台采集真实CS测量数据，用于在传感器噪声条件下进行定性验证。
• 将ReconNet与核化相关滤波（KCF）跟踪器集成，实现在0.01 MR下CS视频的实时视觉跟踪。

实验结果

研究问题

• RQ1 基于深度学习的非迭代方法是否能在极低测量率下，同时在PSNR和计算速度上超越最先进的迭代CS重建算法？
• RQ2 在极低测量率（如0.01）下，CS重建结果在多大程度上能保留语义信息，以支持高层视觉任务？
• RQ3 所提方法在实际CS成像系统中，对传感器噪声和真实测量伪影的鲁棒性如何？
• RQ4 是否可行直接从CS测量值中执行实时高层视觉任务（如目标跟踪），而无需完成完整图像重建？

主要发现

• 在测量率0.1及以下时，ReconNet的平均PSNR显著高于最先进的迭代算法（如TVAL3、D-AMP）。
• 在测量率0.01时，ReconNet重建结果的PSNR达到15–20 dB，保留了足够的语义信息以支持高层视觉任务。
• 在块SPC采集的真实数据上，定性结果显示，与TVAL3和D-AMP相比，ReconNet在MR为0.1和0.04时生成了视觉质量更优的重建结果。
• ReconNet+KCF流水线在0.01 MR下实现了10–56 FPS的实时性能，支持实时目标跟踪。
• 在20像素位置误差阈值下，ReconNet+KCF的平均精度达到65.02%，证明其在低测量率下仍具实际应用价值。
• 该方法对传感器噪声具有鲁棒性，并能良好泛化至真实成像条件，经物理SPC数据验证。