[论文解读] Ensemble learning priors unfolding for scalable Snapshot Compressive Sensing

Chengshuai Yang, Shiyu Zhang+1 more|arXiv (Cornell University)|Jan 25, 2022

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种基于深度学习的可扩展视频快照压缩感知成像方法——集成学习先验展开（ELP-Unfolding），该方法结合集成学习与深度展开技术，在实现最先进重建精度和速度的同时，显著提升了模型的可扩展性。通过在单阶段框架中集成多个神经网络先验，并采用密集跳跃连接，ELP-Unfolding 在基准数据集上实现了 35.41 dB 的 PSNR 和 0.969 的 SSIM，且推理时间极短，同时无需微调即可在不同压缩比和系统配置下保持高性能。

ABSTRACT

Snapshot compressive imaging (SCI) can record the 3D information by a 2D measurement and from this 2D measurement to reconstruct the original 3D information by reconstruction algorithm. As we can see, the reconstruction algorithm plays a vital role in SCI. Recently, deep learning algorithm show its outstanding ability, outperforming the traditional algorithm. Therefore, to improve deep learning algorithm reconstruction accuracy is an inevitable topic for SCI. Besides, deep learning algorithms are usually limited by scalability, and a well trained model in general can not be applied to new systems if lacking the new training process. To address these problems, we develop the ensemble learning priors to further improve the reconstruction accuracy and propose the scalable learning to empower deep learning the scalability just like the traditional algorithm. What's more, our algorithm has achieved the state-of-the-art results, outperforming existing algorithms. Extensive results on both simulation and real datasets demonstrate the superiority of our proposed algorithm. The code and models will be released to the public.

研究动机与目标

• 解决基于深度学习的快照压缩感知成像中重建速度与精度之间的权衡问题。
• 克服现有深度学习模型在面对新系统或新压缩比时需重新训练的可扩展性限制。
• 在不增加推理时间的前提下，通过在深度展开框架中引入集成学习，提升重建性能。
• 开发一种完全卷积的可扩展学习流程，确保在不同空间与时间维度下均保持高性能。

提出的方法

• 提出一种集成学习先验展开框架，在每一重叠阶段聚合多个神经网络去噪器（先验）以提升重建精度。
• 在不同先验之间引入密集跳跃连接，以实现特征重用并改善信息流动，采用简单的加法与拼接操作。
• 设计一种全卷积网络架构，不使用多层感知机（MLPs），以确保在不同图像尺寸下的空间可扩展性。
• 通过保持不同时间长度下输入通道数的一致性，实现时间可扩展性，使单一模型可处理不同帧数。
• 在训练过程中设计一种可扩展的学习流程，使模型无需重新训练即可泛化至具有不同掩码和压缩比的新系统。
• 采用统一的训练策略，融合多样化数据分布，以增强对系统差异的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在不增加推理时间的前提下，多个神经网络先验的集成学习是否能提升深度展开在快照压缩感知成像中的重建精度？
• RQ2 如何使深度展开模型在不需重新训练的情况下实现跨不同空间与时间维度的可扩展性？
• RQ3 密集跳跃连接在所提出的 ELP-Unfolding 框架中对性能与特征传播有何影响？
• RQ4 所提出的可扩展学习流程在精度与速度方面相较于传统插件式（PnP）方法有多大优势？
• RQ5 是否可以通过一次训练的统一模型，在具有不同噪声水平和系统配置的真实数据集上实现高性能重建？

主要发现

• ELP-Unfolding 在基准数据集上实现了 35.41 dB 的最先进 PSNR 和 0.969 的 SSIM，优于 Dense3D-Unfolding，且推理时间显著更短。
• 模型测试时间仅为 0.967 秒，展现出与现有最快方法相当的高速重建能力。
• 在使用较小模型（128 通道）时，集成先验使 PSNR 平均提升超过 1.75 dB，且未增加训练或推理时间。
• 密集跳跃连接显著提升了性能，13 阶、6 个先验的模型达到 35.41 dB PSNR，而无连接设置下仅为 34.85 dB。
• 可扩展学习流程使单一训练好的模型能够处理不同压缩比和系统配置下的数据，包括真实世界数据集 Chopwheel、WaterBalloon、Duomino 和 Hand。
• 首次实现深度学习模型对具有高噪声水平的挑战性真实数据集 'Hand' 的成功重建，而此前方法均未能完成。